ESP32S3 cluster running 1.58-bit (BitNet) Language model
7ノードのESP32-S3クラスタを用い、SPIデイジーチェーン経由で1.58ビットのBitNet量子化による0.4B LLMを実行するプロジェクト
Key points
- •7ノードのESP32-S3クラスタを構成し、SPIデイジーチェーンを介してLLMを実行する技術が公開された
- •使用されている言語モデルは0.4Bパラメータ規模で、1.58ビット(BitNet)の三値量子化技術が適用されている