Hacker NewsHN submitter: shiqimei
Original published:

Show HN: FrontierHarness Eval – 9 harness, same model, cost per pass varies 17x

LLM評価ツールFrontierHarness Evalの分析により、同じモデルでも評価手法によってコストが最大17倍変動することが判明

Key points

  • •FrontierHarness Evalは9つの異なる評価ハーネスを比較するツールである
  • •同じモデルを評価しても、使用するハーネスによってコストが最大17倍異なることが示された
  • •開発者は評価コストを最適化するために、適切なハーネスの選択が重要となる
See more