Hacker NewsHN submitter: Philpax
Original published:

Mistral Large 4

Mistral Large 4は、オープンウェイトのマルチモーダルモデルで、MoEアーキテクチャを採用し、総パラメータ数は1.05Tに達する

Key points

  • •49Bのアクティブパラメータと1.05Tの総パラメータを持つMoEアーキテクチャを採用している
  • •ビジョンエンコーダーは1.6Bパラメータで構成されている
  • •オープンウェイトの汎用マルチモーダルモデルとして位置づけられている
See more