Hacker NewsHN投稿者: matt_d
元記事公開:
Terminal-Bench-Science: Evaluating AI agents on scientific research workflows
原題: Terminal-Bench-Science: Evaluating AI agents on scientific research workflows
AI要約
AIエージェントの能力を科学的研究ワークフローにおいて評価するための新しいベンチマーク「Terminal-Bench-Science」が発表された
重要ポイント
- •科学的研究プロセスにおけるAIエージェントのパフォーマンスを測定する専用ベンチマークが公開された
- •このベンチマークは、AIが実際の研究タスクをどの程度自律的に行えるかを評価することを目的としている
- •従来の言語モデル評価とは異なり、実務的な科学作業フローへの適応力を重視した評価指標が導入されている