Strata

ローカルLLM推論エンジン「Strata」がRyzen AI Max/Max+シリーズに対応し、128GBメモリでQwen3.8-Flash-Nextを動作可能になった

• •オープンソースのローカルLLM推論エンジン「Strata」のバージョン0.1.40が10月6日に公開された
• •AMDのRyzen AI Max/Max+シリーズへの対応が実験的に追加された
• •128GBのメモリを活用して「Qwen3.8-Flash-Next」を動作できるようになった

VRAM 12GBのビデオカードで総パラメータ125Bの「Qwen3.8-Flash-Next」を動作させるツール「Strata」の試行結果を報告

• •総パラメータ125B、アクティブパラメータ6Bの「Qwen3.8-Flash-Next」がVRAM 12GBで動作するとの情報が広まった
• •10月に入ってAI関連の話題が賑わいをみせている
• •やや古いゲーミングPC環境で「Strata」を用いてモデルを実際に動作させた

ローカルLLM「Qwen3.8-Flash-Next」をコンシューマ向けPCで実行できる推論環境「Strata」の最新版v0.1.39が10月4日に公開された

• •StrataはGitHubで無償公開されており、既存ユーザーはUPDATE.batまたはupdate.shの実行で更新可能
• •旧世代のGeForceやIntel Arc GPUなど、コンシューマ向けPC環境でのローカルLLM実行を支援する
• •ローカルLLM「Qwen3.8-Flash-Next」を手軽に動かせるオープンソースの推論環境として機能する

推論エンジンStrataにより、Qwen3.8-Flash-NextモデルをRTX 4090などの消費者向けハードウェア上で100T/sの速度で実行できる手法が公開された

• •WindowsおよびLinux向けにワンクリックインストールが可能で、ローカルホスト上でOpenAIやAnthropic互換のAPIを提供する
• •推論エンジンとしてStrataが使用され、任意の消費者向けハードウェアでの動作を想定している
• •画像入力のオプション対応も含まれている

AlibabaのQwen3.8-Flash-NextをゲーミングPCで高速実行する推論エンジン「Strata」が公開され、秒間60～95トークンで動作

• •総パラメータ125B、アクティブパラメータ6BのQwen3.8-Flash-Nextが、ビデオカード1枚のゲーミングPCで動作する
• •推論エンジン「Strata」により、秒間60～95トークンの速度で高速に実行できる
• •開発者のNiko1221氏がGitHubで公開し、ライセンスはMITとなっている