Hacker NewsHN投稿者: carloslfu
元記事公開:
Show HN: 48GBのMacで104GBのQwen3.8-Flash-Nextを約12 tok/sで実行する方法
原題: Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
AI要約
スロットストリームという技術により、125Bパラメータの巨大モデルをメモリ不足のMacでもSSDストリーミングとエキスパートオフロードを使って実行可能にした
重要ポイント
- •16GB以上のメモリを持つMacでも、100GB以上のメモリを必要とする大規模モデルを実行できる技術を開発した
- •MLXとSwiftを活用したネイティブなmacOS環境向けの実装で、インストールと更新が容易になっている
- •メモリ使用量と速度のバランスを自動調整するオートモードを搭載し、次は投機的デコーディングのMTPモジュールを実装予定