Qwen3.8-Flash-Next

The Strata engine allows the Qwen3.8-Flash-Next MoE model to run at approximately 80 tokens per second on a 9-year-old Tesla V100 GPU by utilizing a three-tier memory hierarchy.

• •The Strata engine, which places experts across GPU VRAM, main memory, and SSD, was introduced earlier this month for running Qwen3.8-Flash-Next.
• •Strata enables running large Mixture of Experts models on standard PCs by distributing experts across three memory tiers.
• •The Qwen3.8-Flash-Next model achieves a speed of approximately 80 tokens per second on a Tesla V100 GPU.

Local LLM inference engine Strata now supports Ryzen AI Max/Max+ series, enabling Qwen3.8-Flash-Next operation with 128GB of memory.

• •Version 0.1.40 of the open-source local LLM inference engine Strata was released on October 6.
• •Experimental support for AMD's Ryzen AI Max/Max+ series was added.
• •The engine can now run Qwen3.8-Flash-Next by utilizing 128GB of memory.

Report on trial results of the tool "Strata," which runs the 125B parameter "Qwen3.8-Flash-Next" model on a 12GB VRAM video card.

• •Information spread that "Qwen3.8-Flash-Next," with 125B total and 6B active parameters, runs on 12GB VRAM.
• •AI-related topics have been buzzing since October.
• •The model was actually run using "Strata" on a slightly older gaming PC environment.

ローカルLLM「Qwen3.8-Flash-Next」をコンシューマ向けPCで実行できる推論環境「Strata」の最新版v0.1.39が10月4日に公開された

• •StrataはGitHubで無償公開されており、既存ユーザーはUPDATE.batまたはupdate.shの実行で更新可能
• •旧世代のGeForceやIntel Arc GPUなど、コンシューマ向けPC環境でのローカルLLM実行を支援する
• •ローカルLLM「Qwen3.8-Flash-Next」を手軽に動かせるオープンソースの推論環境として機能する

推論エンジンStrataにより、Qwen3.8-Flash-NextモデルをRTX 4090などの消費者向けハードウェア上で100T/sの速度で実行できる手法が公開された

• •WindowsおよびLinux向けにワンクリックインストールが可能で、ローカルホスト上でOpenAIやAnthropic互換のAPIを提供する
• •推論エンジンとしてStrataが使用され、任意の消費者向けハードウェアでの動作を想定している
• •画像入力のオプション対応も含まれている

Redisの創始者antirezが開発したC言語製推論エンジンds4について、DeepSeek V4などのモデルをローカルで実行するドキュメントやベンチマークを解説した

• •ds4はDeepSeek V4/V4.1、Qwen3.8 Flash Next、GLM 5.xに対応したC言語製の推論エンジンである
• •Metal、CUDA、ROCmといった異なるハードウェア環境での動作をサポートしている
• •ds4に関するドキュメント、ベンチマーク結果、セットアップ手順が公開されている

AlibabaのQwen3.8-Flash-NextをゲーミングPCで高速実行する推論エンジン「Strata」が公開され、秒間60～95トークンで動作

• •総パラメータ125B、アクティブパラメータ6BのQwen3.8-Flash-Nextが、ビデオカード1枚のゲーミングPCで動作する
• •推論エンジン「Strata」により、秒間60～95トークンの速度で高速に実行できる
• •開発者のNiko1221氏がGitHubで公開し、ライセンスはMITとなっている

スロットストリームという技術により、125Bパラメータの巨大モデルをメモリ不足のMacでもSSDストリーミングとエキスパートオフロードを使って実行可能にした

• •16GB以上のメモリを持つMacでも、100GB以上のメモリを必要とする大規模モデルを実行できる技術を開発した
• •MLXとSwiftを活用したネイティブなmacOS環境向けの実装で、インストールと更新が容易になっている
• •メモリ使用量と速度のバランスを自動調整するオートモードを搭載し、次は投機的デコーディングのMTPモジュールを実装予定

AlibabaのQwenチームが次世代モデル設計を先取りした「Qwen3.8-Flash-Next」をオープンウェイトで公開し、125Bパラメータながら高性能モデルに匹敵する性能を有する。

• •モデル規模は125B-A6B構造で、別途51BのN-gram埋め込みを搭載している
• •Hugging FaceやModelScopeからダウンロード可能で、商用利用を含む原則無償での提供となる
• •一部の事業内容では商用利用に別途契約が必要となるライセンス条件が設けられている

アリババグループのQwenチームが、高いコスト効率を実現する新アーキテクチャ「Qwen3.8-Flash-Next」を発表。推論コストの大幅削減と、パフォーマンスの維持・向上を両立する技術的詳細が解説されている。

• •新アーキテクチャにより、大規模言語モデルの推論コストを従来比で大幅に削減
• •性能を維持しつつ、計算リソースの効率的な活用を実現する設計となっている
• •オープンソースモデルの競争力強化と、実業務での導入障壁の低下が期待される