Hacker NewsHN投稿者: khalidkhair
元記事公開:
Janas: SSDからエキスパートをストリーミングしてRAMより大きなLLMを実行
原題: Janas: Run LLMs larger than RAM by streaming experts from SSD
AI要約
RAM容量を超える大規模LLMをSSDからのストリーミング処理で実行し、llama.cppと比較して高速な推論性能を実現するツールJanasの概要
重要ポイント
- •32GBメモリ搭載のラップトップでQwen3-Next-80B（48GB）を37 tok/sで処理し、llama.cppの2.8 tok/sを大幅に上回る
- •Q4_K_M量子化形式で比較した13モデルすべてにおいてllama.cppより高速な読み取り速度を記録している
- •ドラフトなしでも24 tok/s、読み取りは62 tok/sという具体的な性能数値が提示されている