Hacker NewsHN投稿者: mlukewizard
元記事公開:
DishwasherBench – フロンティアモデルは食洗機に食器を詰め込めるか？
原題: DishwasherBench – Can Frontier Models Stack a Dishwasher?
AI要約
実在の食洗機の物理シミュレーションで言語モデルの能力を評価するベンチマークゲーム「Spotless」が公開された
重要ポイント
- •実在する1台の食洗機の物理シミュレーションを用いた食器の積込ゲームとして設計されている
- •言語モデルのベンチマーク評価を目的として構築されている
- •ブラウザ上でプレイ可能な形式で提供されている