コーディングエージェント27,280回の実行で、推論コストの64%が失敗した実行に費やされた
原題: What is the best harness for each model?
FrontierHarness Eval v1.1の評価結果として、27,280回のコーディングエージェント実行における推論コストの64%が失敗した実行に費やされたことが示されている
重要ポイント
- •FrontierHarness Eval v1.1は22のコーディングエージェントハーネスと5つのモデルを用い、同一の62タスクを各4回ずつ実行した
- •各モデルごとに最もコストパフォーマンスの高いハーネスが異なり、モデル間のコスト順位が大きく変動した
- •モデルを固定した場合、最も高価なハーネスは最も安価なハーネスと比較して1タスクあたり1.8倍から5.0倍のコストを要した
#AIエージェント#生成AI活用・ツール#LLM/モデル動向#FrontierHarness Eval