Hacker NewsHN投稿者: k__
元記事公開:

5.4GBのメモリで動くInkling-2-Mini

原題: Inkling-2-Mini in 5.4 GB Memory

5.4GBのメモリで動くInkling-2-Mini

ファイルサイズが同じ条件下でQ4_K_M比12倍低いKL発散を実現する量子化コンパイラに関する技術記事

重要ポイント

  • •ファイルサイズが同等である条件で、Q4_K_Mと比較して12倍低いKL発散を達成する
  • •Inkling-2-Miniモデルを5.4GBのメモリ環境で動作させることが可能
  • •ShinMegamiBoson/lookatmyquantというプロジェクトに関連する量子化コンパイラ技術である
#LLM/モデル動向#半導体・インフラ#Inkling 2 Mini#ShinMegamiBoson/lookatmyquant
もっと見る