跳到正文
Hacker News (Frontpage)· mrashad74·· 5 天前精选AI 评分85

smolmaxxing 开源:让 1GB 内存电视盒与 2013 款 iPad Air 跑起 16B 模型

I'm making LLMs work on small and old devices

AI 导读

smolmaxxing 是面向旧设备和低内存硬件的开源 LLM 推理项目,通过改造 llama.cpp 让小米电视盒子与 2013 款 iPad Air 跑起本地模型。

推荐理由

项目把 llama.cpp 量化 kernel 与权重流式加载压进 1GB 内存设备,附完整实测数据,适合端侧推理工程借鉴。

每天 1 到 4 条出海新工具

Telegram 频道 @IndieRadarPro · 只发精选

在 Telegram 订阅

来源:Hacker News (Frontpage) · github.com