Hacker News (Frontpage)· mrashad74·· 5 天前精选AI 评分85
smolmaxxing 开源:让 1GB 内存电视盒与 2013 款 iPad Air 跑起 16B 模型
I'm making LLMs work on small and old devices
AI 导读
smolmaxxing 是面向旧设备和低内存硬件的开源 LLM 推理项目,通过改造 llama.cpp 让小米电视盒子与 2013 款 iPad Air 跑起本地模型。
推荐理由
项目把 llama.cpp 量化 kernel 与权重流式加载压进 1GB 内存设备,附完整实测数据,适合端侧推理工程借鉴。
每天 1 到 4 条出海新工具
Telegram 频道 @IndieRadarPro · 只发精选