Strata

The Strata engine allows the Qwen3.8-Flash-Next MoE model to run at approximately 80 tokens per second on a 9-year-old Tesla V100 GPU by utilizing a three-tier memory hierarchy.

• •The Strata engine, which places experts across GPU VRAM, main memory, and SSD, was introduced earlier this month for running Qwen3.8-Flash-Next.
• •Strata enables running large Mixture of Experts models on standard PCs by distributing experts across three memory tiers.
• •The Qwen3.8-Flash-Next model achieves a speed of approximately 80 tokens per second on a Tesla V100 GPU.

Local LLM inference engine Strata now supports Ryzen AI Max/Max+ series, enabling Qwen3.8-Flash-Next operation with 128GB of memory.

• •Version 0.1.40 of the open-source local LLM inference engine Strata was released on October 6.
• •Experimental support for AMD's Ryzen AI Max/Max+ series was added.
• •The engine can now run Qwen3.8-Flash-Next by utilizing 128GB of memory.

Report on trial results of the tool "Strata," which runs the 125B parameter "Qwen3.8-Flash-Next" model on a 12GB VRAM video card.

• •Information spread that "Qwen3.8-Flash-Next," with 125B total and 6B active parameters, runs on 12GB VRAM.
• •AI-related topics have been buzzing since October.
• •The model was actually run using "Strata" on a slightly older gaming PC environment.

ローカルLLM「Qwen3.8-Flash-Next」をコンシューマ向けPCで実行できる推論環境「Strata」の最新版v0.1.39が10月4日に公開された

• •StrataはGitHubで無償公開されており、既存ユーザーはUPDATE.batまたはupdate.shの実行で更新可能
• •旧世代のGeForceやIntel Arc GPUなど、コンシューマ向けPC環境でのローカルLLM実行を支援する
• •ローカルLLM「Qwen3.8-Flash-Next」を手軽に動かせるオープンソースの推論環境として機能する

推論エンジンStrataにより、Qwen3.8-Flash-NextモデルをRTX 4090などの消費者向けハードウェア上で100T/sの速度で実行できる手法が公開された

• •WindowsおよびLinux向けにワンクリックインストールが可能で、ローカルホスト上でOpenAIやAnthropic互換のAPIを提供する
• •推論エンジンとしてStrataが使用され、任意の消費者向けハードウェアでの動作を想定している
• •画像入力のオプション対応も含まれている

AlibabaのQwen3.8-Flash-NextをゲーミングPCで高速実行する推論エンジン「Strata」が公開され、秒間60～95トークンで動作

• •総パラメータ125B、アクティブパラメータ6BのQwen3.8-Flash-Nextが、ビデオカード1枚のゲーミングPCで動作する
• •推論エンジン「Strata」により、秒間60～95トークンの速度で高速に実行できる
• •開発者のNiko1221氏がGitHubで公開し、ライセンスはMITとなっている