AI要約
C/C++製のオープンソースLLM推論エンジン「llama.cpp」のv1.0.0が11月13日に公開され、約3年半ぶりのメジャーリリースとなった。
- •C/C++で構築されたllama.cppのv1.0.0が11月13日に公開された
- •約3年半かけて開発された初のメジャーバージョンリリースとなった
- •関連するテンソルライブラリ「ggml」もv1.0.0に更新された
#LLM/モデル動向#生成AI活用・ツール
ggmlに関する最新のAI・ITニュースを新着順にまとめ、DevPickのAIが要点を要約しています。
ggmlの記事で同時に取り上げられることが多い製品・企業・技術です。
C/C++製のオープンソースLLM推論エンジン「llama.cpp」のv1.0.0が11月13日に公開され、約3年半ぶりのメジャーリリースとなった。
llama.cppが初のメジャー版1.0.0をリリースし、API・ABIの非互換変更を明示する方針へ転換した
Ggml v1.0.0
ggml 1.0.0は非推奨APIとレガシーなDIAG_MASK演算を削除し、YaRN切り詰めとFP8対応を追加するとともに、複数バックエンドで広範なパフォーマンス改善をもたらす