Google Research·· 21 天前AI 评分59
Google Research 提出 sleep 框架,让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架,为 LLM 引入周期性学习循环,把脆弱的短期上下文巩固为稳定的长期参数。该框架分为记忆巩固与梦境自改进两个阶段,在 BABILong 上实现 10M token 的接近完美扩展,并在 AIME 24/25 与 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。
来源:Google Research · research.google