Back to articles
DevPickView feed
Hacker NewsHN submitter: snehesht
Original published:

Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

AI summary
Editorial policy

推論エンジンStrataにより、Qwen3.8-Flash-NextモデルをRTX 4090などの消費者向けハードウェア上で100T/sの速度で実行できる手法が公開された

Key points

  • •WindowsおよびLinux向けにワンクリックインストールが可能で、ローカルホスト上でOpenAIやAnthropic互換のAPIを提供する
  • •推論エンジンとしてStrataが使用され、任意の消費者向けハードウェアでの動作を想定している
  • •画像入力のオプション対応も含まれている
#LLM / Model Trends#Semiconductors & Infrastructure#Generative AI Tools & Use#Qwen3.8-Flash-Next#Strata#RTX 4090
Read the original(opens in a new tab)

Related articles

See more
PC Watch

【西川和久の不定期コラム】9年前の「Tesla V100」がアツい。Qwen3.8-Flash-Nextが約80tok/s出る！

The Strata engine allows the Qwen3.8-Flash-Next MoE model to run at approximately 80 tokens per second on a 9-year-old Tesla V100 GPU by utilizing a three-tier memory hierarchy.

PC Watch

ミニPCでQwen3.8-Flash-Nextをブン回せ！Strataが待望のRyzen AI Max+対応

Local LLM inference engine Strata now supports Ryzen AI Max/Max+ series, enabling Qwen3.8-Flash-Next operation with 128GB of memory.

PC Watch

【西川和久の不定期コラム】ちょい古ゲーミングPCで「Qwen3.8-Flash-Next」を動せる「Strata」を試してみた！

Report on trial results of the tool "Strata," which runs the 125B parameter "Qwen3.8-Flash-Next" model on a 12GB VRAM video card.

PC Watch

Qwen3.8-Flash-Nextローカル実行環境「Strata」更新。旧世代GeForceやArcに一筋の光

ローカルLLM「Qwen3.8-Flash-Next」をコンシューマ向けPCで実行できる推論環境「Strata」の最新版v0.1.39が10月4日に公開された

PC Watch

Qwen3.8-Flash-NextがゲーミングPCで爆速に動く「Strata」登場

AlibabaのQwen3.8-Flash-NextをゲーミングPCで高速実行する推論エンジン「Strata」が公開され、秒間60～95トークンで動作