DGX Spark 2台でLLM生成1.8倍速、llama.cppがNCCLに対応
AI要約
生成・訂正方針llama.cpp v0.9.0がNCCL対応により、DGX Spark 2台接続時のLLM推論速度が最大約1.8倍に向上した
重要ポイント
- •ggml-orgが11月4日にローカルLLM推論エンジン「llama.cpp v0.9.0」を公開した
- •テンソル演算ライブラリ「ggml」のv0.29.0への更新により、NVIDIAの通信ライブラリ「NCCL」の利用が可能になった
- •NVIDIAのAIミニPC「DGX Spark」を2台接続することで、LLMの推論速度が1台の最大約1.8倍になる