SketchAgentBench – 3D空間推論能力でLLMを評価
原題: SketchAgentBench – evaluate LLMs on 3D spatial reasoning
AI要約
生成・訂正方針1枚の写真とプロンプトから3Dシーン生成までのプロセスを評価するベンチマークで、11モデル・25写真・275回の実行結果を最終シーンに基づいてスコアリングした
重要ポイント
- •1枚の写真と1つのプロンプトからコード生成、レンダリング、検閲、改善までの一連のワークフローを評価する
- •11つのモデル、25枚の写真、275回の実行をテスト対象とした
- •各モデルは最終的に生成された3Dシーンに基づいてスコアリングされる
#研究・論文#LLM/モデル動向#SketchAgentBench