跳到正文
Hacker News (Frontpage)· acossta·· 20 天前AI 评分46

Sleep 框架:LLM 在持续学习中保留知识的新范式

Sleep framework: A new way for LLMs to retain knowledge in continual learning

AI 导读

研究者提出 sleep 框架,让 LLM 具备"清醒-睡眠"周期性生命周期,将脆弱的短期上下文固化为稳定的长期参数,缓解持续更新中的灾难性遗忘。框架包含记忆巩固与做梦两个阶段:睡眠期解锁预分配的 MoE 记忆块,通过 GKD 蒸馏与 RL 模仿学习完成知识播种;做梦期随机激活专家并生成合成样本自我改进。该框架可让模型持续吸收新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。

每天 1 到 4 条出海新工具

Telegram 频道 @IndieRadarPro · 只发精选

在 Telegram 订阅

来源:Hacker News (Frontpage) · research.google