5.4GBのメモリで動くInkling-2-Mini
原題: Inkling-2-Mini in 5.4 GB Memory
AI要約
生成・訂正方針ファイルサイズが同じ条件下でQ4_K_M比12倍低いKL発散を実現する量子化コンパイラに関する技術記事
重要ポイント
- •ファイルサイズが同等である条件で、Q4_K_Mと比較して12倍低いKL発散を達成する
- •Inkling-2-Miniモデルを5.4GBのメモリ環境で動作させることが可能
- •ShinMegamiBoson/lookatmyquantというプロジェクトに関連する量子化コンパイラ技術である