iPhoneで最大120tok/s!3値化LLM「Ternary Bonsai 2」に2B/4B/9B登場
AI summary
Editorial policyPrismMLが3値化LLM「Ternary Bonsai 2」に2B/4B/9Bモデルを追加し、フル精度の9分の1以下のサイズで元モデルに近い性能を維持
Key points
- •10月15日(現地時間)にパラメータ数2B、4B、9Bの3モデルが追加された
- •モデルサイズはフル精度の9分の1以下でありながら元モデルに近い性能を保つ
- •Apache 2.0ライセンスでHugging Faceにオープンウェイトとして公開されている