跳到正文
Hacker News (Show HN)· sanchitmonga22·· 15 小时前精选AI 评分68

TrnRT 开源:面向 AWS Trainium 的 LLM 推理引擎,支持 GLM-5.3-Flash 与 OpenAI 兼容 API

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

AI 导读

【这是什么】TrnRT 是 RunAnywhere 开源的 LLM 推理引擎,在 AWS Trainium(trn2.48xlarge)上提供 OpenAI 兼容 API,首个支持的模型为 GLM-5.3-Flash(320B MoE,FP8,1M-token 上下文)。

推荐理由

开源推理引擎将 LLM 部署到 AWS Trainium,附完整基准与成本数据,对算 GPU 之外推理选型的团队有工程借鉴价值。

每天 1 到 4 条出海新工具

Telegram 频道 @IndieRadarPro · 只发精选

在 Telegram 订阅

来源:Hacker News (Show HN) · github.com