Qwen3.8-27B

Underdog quantized Alibaba's Qwen3.8-27B to approximately 2 bits and released it as a lightweight model that runs on a 16GB memory laptop.

• •Underdog released "Underdog Saluki 27B 1.0" as open weights on October 8.
• •The model is quantized to approximately 2 bits and runs with less than 8GB of memory.
• •It is available for download from Hugging Face under the Apache 2.0 license.

PrismMLがQwen3.8 27Bを3値量子化しメモリ5.9GBで動作する「Bonsai 2 27B」をApache 2.0で公開

• •270億パラメータのモデルを3値量子化技術によりわずか5.9GBのメモリ消費に圧縮した
• •量子化後も元のモデル性能の98.2%を維持する高精度な圧縮を実現している
• •マルチモーダル対応LLMとしてHugging Face上でオープンウェイトで提供されている

Shapelearnが提供するQwen 3.8 27Bモデルの特性を紹介し、VRAM 13.1 GBという比較的低いリソースで動作可能な点に焦点を当てた技術解説記事

• •Qwen 3.8 27BモデルがVRAM 13.1 GBで動作可能であるという、ローカル環境での実行可能性を強調している
• •大規模言語モデルを個人向けハードウェアや中小規模サーバーで利用するための具体的なハードウェア要件を示している
• •Shapelearnというプラットフォームを通じて、高効率なLLMのデプロイメントや実験を容易にする取り組みを詳述している

Qwen3.8 27Bモデルの量子化実験結果を報告し、4ビット量子化では性能が維持される一方、1ビット量子化ではモデルの性能が大幅に劣化することを示した。

• •Qwen3.8 27Bモデルに対して4ビット量子化を行った場合、推論精度はほぼ維持された。
• •1ビット量子化ではモデルの構造や性能が崩壊し、実用レベルに達しなかった。
• •大規模言語モデルのエッジデバイス展開において、量子化ビット数の選定が重要であることを示唆している。

Mac Studio上でQwen3.8 27Bモデルを実際に実行し、推論速度やメモリ使用量などの具体的なベンチマーク数値を報告している。

• •Mac StudioのApple Silicon環境におけるQwen3.8 27Bの実際の推論性能が測定された
• •ローカル実行時のメモリ消費量やレイテンシなどの具体的な数値データが公開されている
• •大規模言語モデルをクラウド依存せずにローカルで動作させるためのハードウェア要件の参考となる

Unslothが新量子化技術「Dynamic v3.0」を発表し、Qwen3.8-27Bモデルを驚異の6.2GBにまで小型化することに成功した。

• •新しい量子化技術「Dynamic v3.0」により、大規模モデルの推論に必要なリソースが大幅に削減された
• •対応形式はGGUFであり、llama.cppやUnsloth Desktopなど多くの推論エンジンで利用可能である
• •先行公開していたプレビュー版を更新したもので、ローカル環境での高性能AI活用が容易になる

Alibaba CloudがQwen3.8-27BのウェイトをApache 2.0ライセンスで公開。一部のベンチマークでClaude Opus 4.6 Maxを上回る性能を示した。

• •中国Alibaba傘下のAlibaba Cloudが、AIモデル「Qwen3.8-27B」のウェイトを公開した
• •ライセンスは商用利用が可能な「Apache 2.0」であり、Hugging FaceやModelScopeからダウンロード可能
• •一部のベンチマークテストでは、米Anthropicの「Claude Opus 4.6 Max」を上回るスコアを記録した