Run Qwen3.8 27B locally: real numbers from my Mac Studio

AI summary

Mac Studio上でQwen3.8 27Bモデルを実際に実行し、推論速度やメモリ使用量などの具体的なベンチマーク数値を報告している。

Key points

Underdog quantized Alibaba's Qwen3.8-27B to approximately 2 bits and released it as a lightweight model that runs on a 16GB memory laptop.

PrismMLがQwen3.8 27Bを3値量子化しメモリ5.9GBで動作する「Bonsai 2 27B」をApache 2.0で公開

Shapelearnが提供するQwen 3.8 27Bモデルの特性を紹介し、VRAM 13.1 GBという比較的低いリソースで動作可能な点に焦点を当てた技術解説記事

Qwen3.8 27Bモデルの量子化実験結果を報告し、4ビット量子化では性能が維持される一方、1ビット量子化ではモデルの性能が大幅に劣化することを示した。

Unslothが新量子化技術「Dynamic v3.0」を発表し、Qwen3.8-27Bモデルを驚異の6.2GBにまで小型化することに成功した。