Hacker News (Frontpage)· wondersky·· 3 天前AI 评分43
NVIDIA 教程:用 vLLM 在两台 DGX Station 上以 607.8 tok/s 部署 GLM-5.3
Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM
AI 导读
NVIDIA 发布教程,展示如何用 vLLM 通过 ConnectX-8 RDMA 将两台 GB300 DGX Station 组成单端点,本地部署 GLM-5.3 NVFP4 模型,实测吞吐达 607.8 tok/s。
每天 1 到 4 条出海新工具
Telegram 频道 @IndieRadarPro · 只发精选