iPhoneで最大120tok/s！3値化LLM「Ternary Bonsai 2」に2B/4B/9B登場
AI要約
生成・訂正方針PrismMLが3値化LLM「Ternary Bonsai 2」に2B/4B/9Bモデルを追加し、フル精度の9分の1以下のサイズで元モデルに近い性能を維持
重要ポイント
- •10月15日(現地時間)にパラメータ数2B、4B、9Bの3モデルが追加された
- •モデルサイズはフル精度の9分の1以下でありながら元モデルに近い性能を保つ
- •Apache 2.0ライセンスでHugging Faceにオープンウェイトとして公開されている