Hacker NewsHN投稿者: logicallee
元記事公開:
MicroLLM Lab – ブラウザで7つの小型LLMを試せる
原題: MicroLLM Lab – Try 7 tiny LLM's in the browser
AI要約
WebGPUを活用して小型言語モデルをブラウザ内で完全に動作させ、PetitGPTやSmolLM2などのモデルをオンデバイスで比較・ベンチマークできるツールが公開された
重要ポイント
- •WebGPUを使用してQ4小型言語モデルをブラウザ内で完全に実行できる
- •PetitGPTやSmolLM2などの7つの小型LLMをオンデバイスでチャット、ベンチマーク、比較できる
- •サーバーへの依存を減らし、デバイス上でAIモデルの動作を試すことを可能にする