Back to articles
DevPickView feed
Hacker NewsHN submitter: alvins82
Original published:

I tested 10 model/harness combinations on the same Three.js task

AI summary
Editorial policy

Three.jsを用いた特定のタスクに対し、10種類のLLMと評価フレームワークの組み合わせを比較検証した結果を報告。

Key points

  • •異なるLLMと評価ハネスの組み合わせにより、同じタスクに対するパフォーマンスに大きな差が生じる
  • •Three.jsのようなフロントエンド開発タスクでは、モデルの言語能力だけでなくコード生成の正確性が重要
  • •評価手法自体の選択が結果に与える影響が顕著であり、適切なベンチマーク設計の必要性が示唆される
#LLM / Model Trends#Research & Papers#Three.js
Read the original(opens in a new tab)

Related articles

See more
Hacker News

I gave Opus 5.5 one prompt and six hours to visualize Invisible Cities

Claude Opus 5.5とGPT-6 AstraをThree.jsで比較し、イタロ・カルヴィーノの『看不見的城市』をワンショットで可視化する実験を行った

PC Watch

【やじうまPC Watch】謎の無料AI「Space Bunny」が高性能と話題、Three.jsでアニメまで作れる

開発元が不明な高性能AIモデル「Space Bunny」がオープンソースAIコーディングエージェント「OpenCode」によって1週間限定で無料で提供され、Webブラウザ上のアニメーション作成能力で話題になっている

PC Watch

74Bが24GBに！ローカルAI向けNemotron 3.5 Bolt登場

NVIDIA released Nemotron 3.5 Bolt 74B-A9B 24GB, a model designed for local agent AI that fits within 24GB of memory.

Hacker News

Turn your regular JavaScript code into a neural net

Explains a technique to convert regular JavaScript code into a neural network without training, making it fully differentiable and runnable in a browser without a GPU.

ITmedia AI+

「Claude Haiku 5.5」は本当にコスパがいいのか？ 3つの日本語タスクで検証してみた

The performance of Anthropic's lightweight model 'Claude Haiku 5.5' was verified across three Japanese tasks by comparing it with 'Sonnet 5.5' and 'GPT-6 Luna'.