Faster prompt lookup drafting in llama.cpp
AI summary
Editorial policyllama.cppのn-gramキャッシュに対する4つの変更により、ドラフティング速度が最大41.6倍に向上し、メモリ使用量も削減された
Key points
- •n-gramキャッシュへの4つの変更により、ドラフティング処理が最大41.6倍高速化された
- •静的キャッシュの読み込み速度が最大23.5倍向上した
- •ピークメモリ使用量が最大2.65倍低下した
Related articles
See morePC Watch
llama.cppのWindowsアプリ登場、RTX Sparkに初日対応
Hugging Face released 'Llama Windows', a free app allowing users to run local LLMs via the Windows 11 taskbar without commands.
Hacker News
Janas: Run LLMs larger than RAM by streaming experts from SSD
Overview of Janas, a tool that executes large LLMs exceeding RAM capacity via SSD streaming, achieving faster inference than llama.cpp.
gihyo.jp
Microsoft、Windows MLにllama.cppとGGUFモデルの実験的サポートを追加
Microsoft experimentally integrated the llama.cpp LLM inference engine into Windows ML, its local AI inference foundation for Windows.
PC Watch
llama.cpp 0.6.0公開。GLM-5.3-Flash対応やMetal高速化
llama.cpp v0.6.0 was released, adding support for the new GLM-5.3-Flash model and Metal-based acceleration.
Hacker News
Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agents
エージェント向けにハードウェア上で最大限の速度で動作する自己最適化推論エンジン「Magnitude」が発表され、llama.cppより最大2倍高速であるとされている