跳到正文
Hacker News (Frontpage)· wondersky·· 3 天前AI 评分43

NVIDIA 教程:用 vLLM 在两台 DGX Station 上以 607.8 tok/s 部署 GLM-5.3

Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

AI 导读

NVIDIA 发布教程,展示如何用 vLLM 通过 ConnectX-8 RDMA 将两台 GB300 DGX Station 组成单端点,本地部署 GLM-5.3 NVFP4 模型,实测吞吐达 607.8 tok/s。

每天 1 到 4 条出海新工具

Telegram 频道 @IndieRadarPro · 只发精选

在 Telegram 订阅

来源:Hacker News (Frontpage) · developer.nvidia.com