Hacker News (Frontpage)· sroussey·· 5 天前精选AI 评分80
Edge0 开源 145B 端侧模型:29GB 内存、80+ tokens/s 本地运行
Edge0-145B: Frontier AI Capabilities on Your Own Computer
AI 导读
【这是什么】Edge0 团队开源 Edge0-145B 与 Edge0-120B 端侧模型及统一推理框架,宣称可在笔记本本地运行 145B 参数模型。【商业逻辑】瞄准云端 AI 的 API 费用、隐私限制与联网依赖三重痛点,通过稀疏专家共享矩阵、三层层级加载与 CPU/GPU 协同调度,实测峰值内存 29GB、解码 80+ tokens/s、支持 128K–256K 上下文。
推荐理由
官方完整披露了端侧大模型的内存与速度实测数据,工程上如何让145B模型跑进笔记本值得借鉴。
每天 1 到 4 条出海新工具
Telegram 频道 @IndieRadarPro · 只发精选