ポストトレーニング用のデータコモンズは存在しない
原題: There is no posttraining data commons
AI要約
生成・訂正方針LLMの革命は人間が他の目的で構築した事前学習用のデータコモンズに依存していたが、タスクを消費するポストトレーニングには同様のコモンズが存在しないという指摘が行われている。
重要ポイント
- •LLMの発展は、人間が他の目的で構築した事前学習用のデータコモンズに支えられてきた
- •ポストトレーニングは文書ではなくタスクを消費する性質を持つため、既存のデータコモンズとは異なる
- •オープンモデルコミュニティが持続可能であるためには、ポストトレーニング用のデータコモンズの存在が不可欠であるとされている
#LLM/モデル動向#研究・論文