Hacker NewsHN submitter: logicallee
Original published:

MicroLLM Lab – Try 7 tiny LLM's in the browser

WebGPUを活用して小型言語モデルをブラウザ内で完全に動作させ、PetitGPTやSmolLM2などのモデルをオンデバイスで比較・ベンチマークできるツールが公開された

Key points

  • •WebGPUを使用してQ4小型言語モデルをブラウザ内で完全に実行できる
  • •PetitGPTやSmolLM2などの7つの小型LLMをオンデバイスでチャット、ベンチマーク、比較できる
  • •サーバーへの依存を減らし、デバイス上でAIモデルの動作を試すことを可能にする
See more