Hacker NewsHN投稿者: Edward40
元記事公開: DevPick更新:

コーディングエージェント27,280回の実行で、推論コストの64%が失敗した実行に費やされた

原題: What is the best harness for each model?

コーディングエージェント27,280回の実行で、推論コストの64%が失敗した実行に費やされた
AI要約
生成・訂正方針DevPick更新:

FrontierHarness Eval v1.1の評価結果として、27,280回のコーディングエージェント実行における推論コストの64%が失敗した実行に費やされたことが示されている

重要ポイント

  • •FrontierHarness Eval v1.1は22のコーディングエージェントハーネスと5つのモデルを用い、同一の62タスクを各4回ずつ実行した
  • •各モデルごとに最もコストパフォーマンスの高いハーネスが異なり、モデル間のコスト順位が大きく変動した
  • •モデルを固定した場合、最も高価なハーネスは最も安価なハーネスと比較して1タスクあたり1.8倍から5.0倍のコストを要した
#AIエージェント#生成AI活用・ツール#LLM/モデル動向#FrontierHarness Eval
もっと見る
Hacker News

FrontierHarness Evalで評価コストに17倍の差

LLM評価ツールFrontierHarness Evalの分析により、同じモデルでも評価手法によってコストが最大17倍変動することが判明

PC Watch

【西川和久の不定期コラム】1行頼むだけで東京駅の空撮CGができた!「Muse」にBlenderを操作させた件

国が無料で公開する3D都市データ「PLATEAU」から建物形状を取得し、Blenderで静止画を描画、生成AIで動画化する一連の高度な作業をMetaのAIエージェント「Muse」に実行させた方法を解説する

TechCrunch

Google、電話や購入を代行するGemini Tasksのアクセスを拡大

GoogleがGeminiのTaskモードへのアクセスを拡大し、ユーザーの代わりに電話の調整やウェブサイトへのログイン、購入などの代行が可能になる

Hacker News

Launch HN: StarSling (YC P25) – エージェント規模のリポジトリ向け自己改善型CI

StarSlingはZen 5マシンとNVMeディスクを備えた高速な一時的サンドボックスでCIジョブを実行し、AIエージェントがPRを送信してテストとワークフローを継続的に改善するサービスである。

The Verge

GoogleのAIエージェント「Spark」が「Tasks」に改名され無料提供へ

GoogleがAIエージェント「Spark」を「Tasks」にリブランドし、Gemini 4 Hydrogenモデルを搭載した無料機能として提供開始した