跳到正文
Hacker News (Frontpage)· thefox96·· 6 天前精选AI 评分81

华为开源 MACaQ 量化工具:122B 模型仅需 64 分钟、32.5 GB 显存

Huawei releases MACaQ, its internal quantizer for local inference

AI 导读

【这是什么】华为开源 MACaQ,一款面向本地推理的高质量 GGUF 量化工具,可量化文本、图像、视频与音频模型,不局限于文本。 【商业/痛点逻辑】针对低精度量化的耗时与显存占用,量化 122B 参数模型只需 64 分钟和 32.5 GB 显存;达到 Llama-3-8B 同等最佳困惑度时量化时间少 11 倍,并称困惑度低于 MR-GPTQ 与 DuQuant++。

推荐理由

量化工具覆盖文本、图像、视频与音频模型,122B 模型 64 分钟量化完成,可参考其显存占用与多后端适配思路。

每天 1 到 4 条出海新工具

Telegram 频道 @IndieRadarPro · 只发精选

在 Telegram 订阅

来源:Hacker News (Frontpage) · github.com