Hacker News (Frontpage)· thefox96·· 6 天前精选AI 评分81
华为开源 MACaQ 量化工具:122B 模型仅需 64 分钟、32.5 GB 显存
Huawei releases MACaQ, its internal quantizer for local inference
AI 导读
【这是什么】华为开源 MACaQ,一款面向本地推理的高质量 GGUF 量化工具,可量化文本、图像、视频与音频模型,不局限于文本。 【商业/痛点逻辑】针对低精度量化的耗时与显存占用,量化 122B 参数模型只需 64 分钟和 32.5 GB 显存;达到 Llama-3-8B 同等最佳困惑度时量化时间少 11 倍,并称困惑度低于 MR-GPTQ 与 DuQuant++。
推荐理由
量化工具覆盖文本、图像、视频与音频模型,122B 模型 64 分钟量化完成,可参考其显存占用与多后端适配思路。
每天 1 到 4 条出海新工具
Telegram 频道 @IndieRadarPro · 只发精选