PC Watchby 劉 尭
Original published:

iPhoneで最大120tok/s!3値化LLM「Ternary Bonsai 2」に2B/4B/9B登場

PrismMLが3値化LLM「Ternary Bonsai 2」に2B/4B/9Bモデルを追加し、フル精度の9分の1以下のサイズで元モデルに近い性能を維持

Key points

  • •10月15日(現地時間)にパラメータ数2B、4B、9Bの3モデルが追加された
  • •モデルサイズはフル精度の9分の1以下でありながら元モデルに近い性能を保つ
  • •Apache 2.0ライセンスでHugging Faceにオープンウェイトとして公開されている
See more