Hacker NewsHN submitter: emersonmacro
Original published:

Context Language Models

自身のコンテキストをファイルとして管理し、無制限に更新できる新しい言語モデル「CLM」を提案し、既存モデルでのゼロショット実装がSOTAを上回ることを示した

Key points

  • •コンテキストをファイルとして扱い、モデルがそのファイルに対して無制限の更新を行うことでコンテキストをネイティブに管理するCLMを提案した
  • •このアプローチにより、コンテキストに何を保持するのが最も重要かをモデルが学習し、複数のエージェントコンテキストがファイルとして共存するマルチエージェントシステムに自然に拡張できる
  • •既存のモデルを使ってゼロショットで構築したCLMは、多様なタスクにおいてSOTAのコンテキスト管理戦略を上回るパフォーマンスを示した
See more