跳到正文
Hacker News (Frontpage)· joshcsimmons·· 9 天前精选AI 评分79

llama-modchip 开源:64GB 内存纯 CPU 跑 DeepSeek-V4-Flash 284B

Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU

AI 导读

【这是什么】开源推理工具 llama-modchip,通过 SwiGLU-H2 二阶压缩、Fractal-64 量化(3.75 bpw)和多级缓存 tiling,把 284.33B 的 DeepSeek-V4-Flash 从 76.87 GiB 压到 56.56 GiB,在 64GB 内存的纯 CPU 机器上以 256K 上下文运行,零 GPU。

推荐理由

开源项目用压缩与量化把 284B MoE 塞进 64GB 内存纯 CPU 运行,工程细节和实测数据可作本地推理部署参考。

每天 1 到 4 条出海新工具

Telegram 频道 @IndieRadarPro · 只发精选

在 Telegram 订阅

来源:Hacker News (Frontpage) · github.com