Mistral Large 4

Mistral AIが1兆500億パラメータのMoE型モデル「Mistral Large 4」のプレビューを公開し、月末にオープンウェイト化する

• •総パラメータ1兆500億のMoE型で、画像認識や推論・指示応答の切り替えに対応している
• •サイバーセキュリティやコーディング分野で高い性能を示し、脆弱性再現テストで最高記録を達成した
• •モデルの重みは10月末にオープンウェイトとして公開予定である

フランスのAIラボMistral AIが、米中ライバルを追い抜くことを目指す新しい大規模マルチモーダルモデルMistral Large 4を発表した

• •Mistral AIが新しい大規模マルチモーダルモデル「Mistral Large 4」をリリースした
• •新モデルは米国のライバル企業と中国のライバル企業を追い抜くことを目標としている
• •Mistral AIはフランスに拠点を置くAIラボである

Mistral AIが新モデルMistral Large 4の技術ドキュメントを公開し、Hacker News上で939ポイントと630件のコメントを獲得した

Mistral Large 4は、オープンウェイトのマルチモーダルモデルで、MoEアーキテクチャを採用し、総パラメータ数は1.05Tに達する

• •49Bのアクティブパラメータと1.05Tの総パラメータを持つMoEアーキテクチャを採用している
• •ビジョンエンコーダーは1.6Bパラメータで構成されている
• •オープンウェイトの汎用マルチモーダルモデルとして位置づけられている

Mistral Large 4は1兆パラメータのネイティブマルチモーダルモデルで、490億パラメータがアクティブであり、米国・欧州のオープンウェイトモデルとして最高性能を誇る

• •モデルは1Tパラメータを持ち、49Bがアクティブパラメータとして動作するネイティブマルチモーダル構成を採用している。
• •サイバーディフェンス、製造業、金融といった重要な業務向けに最先端の性能を発揮し、クローズドなフロンティアモデルを上回るとされている。
• •米国または欧州のオープンウェイトモデルとして、統合ベンチマークにおいて最良の結果を記録している。