Hacker NewsHN投稿者: Argonautlabs
元記事公開:
MacBook Proで4つのSSDからストリーミングし、Kimi K3 (2.8T)を1トークン/秒で実行
原題: Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs
AI要約
MacBook Pro上で複数のSSDを使用してKimi K3モデルをストリーミングし、1トークン/秒の速度で実行する技術的な実証が行われた。
重要ポイント
- •2.8Tパラメータを持つKimi K3モデルをMacBook Proで動作させる試みが報告されている
- •4つのSSDからモデルをストリーミングすることで推論を実現した
- •1トークン/秒という低速だが、エッジデバイスでの大規模モデル実行の可能性を示す実験である