跳到正文
Hacker News (Frontpage)· coffeemug·· 22 天前AI 评分59

Ubicloud 修复 vLLM 工具调用准确率:用 constrained decoding 从 92% 提到 100%

Fixing Tool-Call Accuracy in vLLM

AI 导读

【这是什么】Ubicloud 工程师详解开源权重模型工具调用 schema 准确率问题及修复方法。【商业与痛点逻辑】用 vLLM 0.28 服务 Kimi K2.6 时仅 92% 的工具调用符合 schema,错误调用会污染上下文、增加重试成本,尤其在多轮 agentic 工作流中影响明显。

每天 1 到 4 条出海新工具

Telegram 频道 @IndieRadarPro · 只发精选

在 Telegram 订阅

来源:Hacker News (Frontpage) · ubicloud.com