DeepSeek V3 用 190 行纯 JAX 复现开源:MacBook Air 上 2.6 小时训练 36.2M 参数模型
【这是什么】一个开源项目,用 190 行无依赖的纯 JAX 从零实现 DeepSeek-V3 论文架构,含 MLA、DeepSeekMoE、auxiliary-loss-free 负载均衡和多 token 预测。
推荐理由:用 190 行纯 JAX 从零复现 DeepSeek-V3 架构并在 MacBook Air 上完成训练,工程实现与逐模块讲解对理解 MoE、MLA 细节很有参考价值。