Hacker NewsHN投稿者: albinstman
元記事公開:

Show HN: Llmspeed – ハードウェア購入前にローカルLLMの実速度を体感

原題: Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware

ローカルLLMの動作速度をハードウェア購入前に体感できるツールLlmspeedが公開された

重要ポイント

  • •GPUやMacなどのハードウェアとモデルを選択すると、実測ベンチマークに基づいた速度をシミュレーションできる
  • •トークン毎秒数(tokens/sec)と初回トークンまでの時間(time-to-first-token)を確認できる
  • •購入前にローカルLLM環境の性能を予測し、適切なハードウェア選定を支援する
もっと見る