PC Watchby 劉 尭
元記事公開:
8GBのGPUで35Bモデルが高速動作！MoE特化の実行環境「FreeToken」
AI要約
VRAMが8GBしかないGPUでも35BパラメータのMoEモデルを高速に実行できる無料環境「FreeToken」がApache 2.0ライセンスで公開された
重要ポイント
- •ビデオメモリの制約を回避し、メインメモリを活用して大規模モデルを動作させる技術を採用している
- •現在公式サイトから無料でダウンロード可能で、オープンソースライセンスに基づいて利用される
- •ハードウェア性能に余裕のないユーザーでも、高パラメータモデルの実用化が可能になる