Hacker News (Frontpage)· khalidkhair·· 2026-10-13精选AI 评分84
Janas 开源:从 SSD 流式加载专家,32 GB 笔记本跑 80B 模型达 37 tok/s
Janas: Run LLMs larger than RAM by streaming experts from SSD
AI 导读
【这是什么】Janas 是用 C 写成、无外部依赖的开源 AI 工具集,首个组件 Janas-LLM 可在普通电脑上运行超大 MoE 语言模型,权重留在磁盘,按 token 所需从 NVMe SSD 流式读取专家,常用者驻留内存。
推荐理由
开源引擎把 MoE 权重留在 SSD 按需流式读取,附完整同机对比数据,对低内存本地跑大模型有直接工程借鉴。
每天 1 到 4 条出海新工具
Telegram 频道 @IndieRadarPro · 只发精选