smolmaxxing 开源:旧设备跑 16B 模型
热点事件历史事件
smolmaxxing 开源:旧设备跑 16B 模型
1 篇报道1 个报道来源5 天前更新
先了解这件事
AI 综述
开发者 mrashad74 开源了 smolmaxxing:一个基于 llama.cpp 改造的本地 LLM 推理项目,做法是找出每台旧设备真正能运行的最大模型,再用自定义内核、内存调度与权重流式加载继续提高上限。据其介绍,参与测试的小米电视盒子 S 第三代(Amlogic S7D、约 1GB 可用内存、Android 14、未 root)与 2013 款第一代 iPad Air(A7、1GB 内存、iOS 12.5.7、已越狱、仅用 CPU)可以运行最高 16B 参数模型。 限制写得同样具体:iPad 上的实际内存上限约为 700MB,1-bit 权重无法再压缩,超过该上限后 iOS 会终止进程,因此 4B 模型只能使用 512 token 的上下文;而且越狱状态在重启后无法保留。
AI 根据报道生成 · 5 天前更新
最新进展11月12日 23:23
smolmaxxing 开源:让 1GB 内存电视盒与 2013 款 iPad Air 跑起 16B 模型报道时间线
沿着报道,了解事件的不同侧面。
11月12日
- Hacker News (Frontpage)精选smolmaxxing 开源:让 1GB 内存电视盒与 2013 款 iPad Air 跑起 16B 模型
smolmaxxing 是面向旧设备和低内存硬件的开源 LLM 推理项目,通过改造 llama.cpp 让小米电视盒子与 2013 款 iPad Air 跑起本地模型。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 911月13日 03:00
- 近 24 小时变化
- -51%
02.557.510
12:0011月14日12:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。