Hacker News (Frontpage)· acossta·· 20 天前AI 评分46
Sleep 框架:LLM 在持续学习中保留知识的新范式
Sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
研究者提出 sleep 框架,让 LLM 具备"清醒-睡眠"周期性生命周期,将脆弱的短期上下文固化为稳定的长期参数,缓解持续更新中的灾难性遗忘。框架包含记忆巩固与做梦两个阶段:睡眠期解锁预分配的 MoE 记忆块,通过 GKD 蒸馏与 RL 模仿学习完成知识播种;做梦期随机激活专家并生成合成样本自我改进。该框架可让模型持续吸收新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。
每天 1 到 4 条出海新工具
Telegram 频道 @IndieRadarPro · 只发精选