MicroLLM Lab – Try 7 tiny LLM's in the browser
WebGPUを活用して小型言語モデルをブラウザ内で完全に動作させ、PetitGPTやSmolLM2などのモデルをオンデバイスで比較・ベンチマークできるツールが公開された
Key points
- •WebGPUを使用してQ4小型言語モデルをブラウザ内で完全に実行できる
- •PetitGPTやSmolLM2などの7つの小型LLMをオンデバイスでチャット、ベンチマーク、比較できる
- •サーバーへの依存を減らし、デバイス上でAIモデルの動作を試すことを可能にする