跳到正文
原文
Google Research·· 21 天前AI 评分59

Google Research 提出 sleep 框架,让 LLM 在持续学习中保留知识

The sleep framework: A new way for LLMs to retain knowledge in continual learning

AI 导读

Google Research 提出 sleep 框架,为 LLM 引入周期性学习循环,把脆弱的短期上下文巩固为稳定的长期参数。该框架分为记忆巩固与梦境自改进两个阶段,在 BABILong 上实现 10M token 的接近完美扩展,并在 AIME 24/25 与 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。

来源:Google Research · research.google