ITmedia AI+
元記事公開:
4台のM5 Ultra Mac Studioで「データセンター級」メモリ帯域幅4.8TB/s 巨大LLMも高速でローカル実行可能に
AI要約
EXO LabsはMac Studio 4台のクラスタ構成で4.8TB/sという高帯域幅を実現し、Kimi K3などの大規模モデルをローカル環境で高速に動作させる技術を発表した
重要ポイント
- •M5 Ultra搭載のMac Studio 4台を連携させることで、メモリ帯域幅を約4.8TB/sまで高めることに成功した
- •この構成により、通常はクラウド基盤が必要な巨大LLMを、オンプレミス環境で実用レベルの速度で実行可能にする
- •特にKimi K3のような最新の大規模言語モデルを、企業や研究者が外部依存なしに高速処理できるようになる