Hacker News (Frontpage)· joshcsimmons·· 9 天前精选AI 评分79
llama-modchip 开源:64GB 内存纯 CPU 跑 DeepSeek-V4-Flash 284B
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
AI 导读
【这是什么】开源推理工具 llama-modchip,通过 SwiGLU-H2 二阶压缩、Fractal-64 量化(3.75 bpw)和多级缓存 tiling,把 284.33B 的 DeepSeek-V4-Flash 从 76.87 GiB 压到 56.56 GiB,在 64GB 内存的纯 CPU 机器上以 256K 上下文运行,零 GPU。
推荐理由
开源项目用压缩与量化把 284B MoE 塞进 64GB 内存纯 CPU 运行,工程细节和实测数据可作本地推理部署参考。
每天 1 到 4 条出海新工具
Telegram 频道 @IndieRadarPro · 只发精选