Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s

AI summary

Editorial policy

スロットストリームという技術により、125Bパラメータの巨大モデルをメモリ不足のMacでもSSDストリーミングとエキスパートオフロードを使って実行可能にした

Key points

•16GB以上のメモリを持つMacでも、100GB以上のメモリを必要とする大規模モデルを実行できる技術を開発した
•MLXとSwiftを活用したネイティブなmacOS環境向けの実装で、インストールと更新が容易になっている
•メモリ使用量と速度のバランスを自動調整するオートモードを搭載し、次は投機的デコーディングのMTPモジュールを実装予定

#LLM / Model Trends #Semiconductors & Infrastructure #Qwen3.8-Flash-Next

Read the original

PC Watch10/14/2026

【西川和久の不定期コラム】9年前の「Tesla V100」がアツい。Qwen3.8-Flash-Nextが約80tok/s出る！

The Strata engine allows the Qwen3.8-Flash-Next MoE model to run at approximately 80 tokens per second on a 9-year-old Tesla V100 GPU by utilizing a three-tier memory hierarchy.

PC Watch10/7/2026

ミニPCでQwen3.8-Flash-Nextをブン回せ！Strataが待望のRyzen AI Max+対応

Local LLM inference engine Strata now supports Ryzen AI Max/Max+ series, enabling Qwen3.8-Flash-Next operation with 128GB of memory.

PC Watch10/6/2026

【西川和久の不定期コラム】ちょい古ゲーミングPCで「Qwen3.8-Flash-Next」を動せる「Strata」を試してみた！

Report on trial results of the tool "Strata," which runs the 125B parameter "Qwen3.8-Flash-Next" model on a 12GB VRAM video card.

PC Watch10/5/2026

Qwen3.8-Flash-Nextローカル実行環境「Strata」更新。旧世代GeForceやArcに一筋の光

ローカルLLM「Qwen3.8-Flash-Next」をコンシューマ向けPCで実行できる推論環境「Strata」の最新版v0.1.39が10月4日に公開された

Hacker News10/4/2026

Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

推論エンジンStrataにより、Qwen3.8-Flash-NextモデルをRTX 4090などの消費者向けハードウェア上で100T/sの速度で実行できる手法が公開された