Hacker NewsHN投稿者: lasu
元記事公開:
Show HN: Parsimony – AIモデルがコードにどれだけ余分な要素を追加するかを測るオープンソースベンチマーク
原題: Show HN: Parsimony – an open-source benchmark for how much code AI models add
AI要約
既存のベンチマークが過剰なコード生成を評価していない問題に対し、構文要素の数をカウントしてコードの冗長性を測るオープンソースベンチマークParsimonyが公開された
重要ポイント
- •既存のベンチマークは解決率やトークンコストを測るが、長期運用を困難にする過剰なコード生成を罰則として考慮していない
- •ParsimonyはDeepSWEやSWE-bench Verifiedなどの公開パッチを用い、文や呼び出しなどの構文要素である「コーディングユニット」を数える
- •コード行数ではなく構文要素をカウントすることで、コードを詰め込むような手法を評価から除外している