llama.cpp v1.0.0公開。3年半かけて初のメジャーリリースに
AI要約
生成・訂正方針C/C++製のオープンソースLLM推論エンジン「llama.cpp」のv1.0.0が11月13日に公開され、約3年半ぶりのメジャーリリースとなった。
重要ポイント
- •C/C++で構築されたllama.cppのv1.0.0が11月13日に公開された
- •約3年半かけて開発された初のメジャーバージョンリリースとなった
- •関連するテンソルライブラリ「ggml」もv1.0.0に更新された
C/C++製のオープンソースLLM推論エンジン「llama.cpp」のv1.0.0が11月13日に公開され、約3年半ぶりのメジャーリリースとなった。
llama.cppが初のメジャー版1.0.0をリリースし、API・ABIの非互換変更を明示する方針へ転換した
ggml 1.0.0は非推奨APIとレガシーなDIAG_MASK演算を削除し、YaRN切り詰めとFP8対応を追加するとともに、複数バックエンドで広範なパフォーマンス改善をもたらす
llama.cpp v0.9.0がNCCL対応により、DGX Spark 2台接続時のLLM推論速度が最大約1.8倍に向上した
Windows、Linux、macOSに対応した100%オフラインの生存アシスタントで、llama.cppやOllamaによるローカルAIとKiwixライブラリを活用している
Jailbroken PS5上でllama.cppを実行し、Qwen 3.8から始めてコンソール上で任意のGGUFモデルをネイティブに実行する方法が紹介されている