华为开源 MACaQ:122B 模型量化 64 分钟
热点事件历史事件
华为开源 MACaQ:122B 模型量化 64 分钟
1 篇报道1 个报道来源6 天前更新
先了解这件事
AI 综述
华为开源了面向本地推理的 GGUF 量化工具 MACaQ,可量化文本、图像、视频和音频模型。华为称,量化 122B 参数模型需 64 分钟、32.5 GB 显存;在达到 Llama-3-8B 同等最佳困惑度时,其量化时间少 11 倍,困惑度低于 MR-GPTQ 和 DuQuant++。 使用上,每个后端需单独环境并采用 Python 3.12;全模型执行需接入 Ascend 推理运行时。
AI 根据报道生成 · 5 天前更新
最新进展11月12日 04:23
华为开源 MACaQ 量化工具:122B 模型仅需 64 分钟、32.5 GB 显存报道时间线
沿着报道,了解事件的不同侧面。
11月12日
- Hacker News (Frontpage)精选华为开源 MACaQ 量化工具:122B 模型仅需 64 分钟、32.5 GB 显存
【这是什么】华为开源 MACaQ,一款面向本地推理的高质量 GGUF 量化工具,可量化文本、图像、视频与音频模型,不局限于文本。 【商业/痛点逻辑】针对低精度量化的耗时与显存占用,量化 122B 参数模型只需 64 分钟和 32.5 GB 显存;达到 Llama-3-8B 同等最佳困惑度时量化时间少 11 倍,并称困惑度低于 MR-GPTQ 与 DuQuant++。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 711月12日 18:00
- 近 24 小时变化
- -51%
02468
18:0011月13日06:0012:0018:0011月14日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。