Google Research
元記事公開: DevPick更新:
睡眠フレームワーク：継続学習においてLLMが知識を保持する新しい方法
原題: The sleep framework: A new way for LLMs to retain knowledge in continual learning
継続学習に「睡眠フェーズ」を導入し、LLMが新事実を統合しながら推論能力を高め、カタルストロフィックフォーゲッティングを軽減する手法を提案
重要ポイント
- •継続学習のプロセスに「睡眠フェーズ」を導入する新しいフレームワークを提案している
- •この手法により、大規模言語モデルが新しい事実を継続的に統合できるようになる
- •カタルストロフィックフォーゲッティングや静的なナレッジカットオフを軽減しつつ推論能力を強化できる
#研究・論文#LLM/モデル動向