PC Watchby 西川 和久
元記事公開:
【西川和久の不定期コラム】9年前の「Tesla V100」がアツい。Qwen3.8-Flash-Nextが約80tok/s出る！
AI要約
生成・訂正方針9年前のGPUであるTesla V100上で、3階層メモリ構成のエンジンStrataを用いることでQwen3.8-Flash-Nextを約80tok/sで動作させることが可能となった
重要ポイント
- •GeForce RTX 4090(48GB改)でQwen3.8-Flash-Nextを動かすエンジン「Strata」が今月冒頭に紹介された
- •StrataはGPUのVRAM、メインメモリ、SSDの3階層にエキスパートを配置して巨大なMoEモデルをPCで動作させる
- •9年前のTesla V100でQwen3.8-Flash-Nextが約80tok/sの出力速度で動作する