Mistral Large 4

Mistral AI released a preview of 'Mistral Large 4,' a 1.05-trillion-parameter MoE model, with open weights planned for release by the end of the month.

• •The MoE model has 1.05 trillion total parameters and supports image recognition and switching between reasoning and instruction following.
• •It demonstrated high performance in cybersecurity and coding, achieving a top record in vulnerability reproduction tests.
• •The model weights are scheduled to be released as open weights by the end of October.

フランスのAIラボMistral AIが、米中ライバルを追い抜くことを目指す新しい大規模マルチモーダルモデルMistral Large 4を発表した

• •Mistral AIが新しい大規模マルチモーダルモデル「Mistral Large 4」をリリースした
• •新モデルは米国のライバル企業と中国のライバル企業を追い抜くことを目標としている
• •Mistral AIはフランスに拠点を置くAIラボである

Mistral AIが新モデルMistral Large 4の技術ドキュメントを公開し、Hacker News上で939ポイントと630件のコメントを獲得した

Mistral Large 4は、オープンウェイトのマルチモーダルモデルで、MoEアーキテクチャを採用し、総パラメータ数は1.05Tに達する

• •49Bのアクティブパラメータと1.05Tの総パラメータを持つMoEアーキテクチャを採用している
• •ビジョンエンコーダーは1.6Bパラメータで構成されている
• •オープンウェイトの汎用マルチモーダルモデルとして位置づけられている

Mistral Large 4は1兆パラメータのネイティブマルチモーダルモデルで、490億パラメータがアクティブであり、米国・欧州のオープンウェイトモデルとして最高性能を誇る

• •モデルは1Tパラメータを持ち、49Bがアクティブパラメータとして動作するネイティブマルチモーダル構成を採用している。
• •サイバーディフェンス、製造業、金融といった重要な業務向けに最先端の性能を発揮し、クローズドなフロンティアモデルを上回るとされている。
• •米国または欧州のオープンウェイトモデルとして、統合ベンチマークにおいて最良の結果を記録している。