748BのDeepSeekがGPU 1枚でさらに速く!生成は最大約2倍
AI要約
生成・訂正方針LLM推論ソフトウェア「Project Maya」の最新版v1.1.28が公開され、GPU 1枚で巨大MoEモデルの高速推論が可能になった
重要ポイント
- •GitHub上で開発されているLLM推論ソフトウェア「Project Maya」の最新版v1.1.28が10月26日に公開された
- •巨大なMoEモデルを手元のGPUで動かすためのハードルが1段下がった
- •748Bパラメータモデルの生成速度が最大で約2倍に向上した