llama.cpp

Hugging Face released 'Llama Windows', a free app allowing users to run local LLMs via the Windows 11 taskbar without commands.

• •A new app enables running local LLMs on Windows without command-line input.
• •Hugging Face released 'Llama Windows' on October 13, US time.
• •The app supports RTX Spark from day one and is available for free.

Overview of Janas, a tool that executes large LLMs exceeding RAM capacity via SSD streaming, achieving faster inference than llama.cpp.

• •Qwen3-Next-80B (48GB) was processed at 37 tok/s on a 32GB laptop, significantly outperforming llama.cpp's 2.8 tok/s.
• •All 13 models compared in Q4_K_M quantization format recorded faster read speeds than llama.cpp.
• •Specific performance figures were presented: 24 tok/s without drafting and 62 tok/s for reading.

Microsoft experimentally integrated the llama.cpp LLM inference engine into Windows ML, its local AI inference foundation for Windows.

• •Microsoft announced the integration of llama.cpp into Windows ML on October 7, 2026.
• •llama.cpp is an inference engine used to run large language models (LLMs).
• •This integration is provided as experimental support.

llama.cpp v0.6.0 was released, adding support for the new GLM-5.3-Flash model and Metal-based acceleration.

• •ggml-org released llama.cpp v0.6.0 on October 5, which supports the new model 'GLM-5.3-Flash'.
• •The software is available for free download from GitHub and uses the MIT license.
• •Metal-based acceleration features were also added, further evolving local LLM execution environments.

エージェント向けにハードウェア上で最大限の速度で動作する自己最適化推論エンジン「Magnitude」が発表され、llama.cppより最大2倍高速であるとされている

• •Mac、Linux、Windowsの任意のハードウェア上で動作する推論エンジンである
• •既存の推論エンジンであるllama.cppと比較して最大2倍の速度向上を実現している
• •開発者は過去に4,000以上のGitHubスターと100,000以上のダウンロードを獲得したオープンソースブラウザエージェントを開発した経験を持つ

llama.cppのn-gramキャッシュに対する4つの変更により、ドラフティング速度が最大41.6倍に向上し、メモリ使用量も削減された

• •n-gramキャッシュへの4つの変更により、ドラフティング処理が最大41.6倍高速化された
• •静的キャッシュの読み込み速度が最大23.5倍向上した
• •ピークメモリ使用量が最大2.65倍低下した