Kimi

vLLM 0.31の制約付きデコーディング機能を活用し、KimiやDeepSeekモデルのツール呼び出しスキーマ精度を100%に引き上げる方法を紹介する記事。

• •ツール呼び出しの精度が低いと、モデルが無意味なコンテキストを積み重ねる原因となる
• •vLLM 0.31で追加された制約付きデコーディングは、スキーマの遵守を保証する技術である
• •この機能の有効化により、新しいKimiやDeepSeekモデルで100%のスキーマ精度が実現できる

MacBook Pro上で複数のSSDを使用してKimi K3モデルをストリーミングし、1トークン/秒の速度で実行する技術的な実証が行われた。

• •2.8Tパラメータを持つKimi K3モデルをMacBook Proで動作させる試みが報告されている
• •4つのSSDからモデルをストリーミングすることで推論を実現した
• •1トークン/秒という低速だが、エッジデバイスでの大規模モデル実行の可能性を示す実験である

中国のAIスタートアップMoonshot AIが開発するAIモデル「Kimi」が、公式Xアカウントを通じて日本市場への本格進出を示唆した。有料プランのプレゼントキャンペーンも実施。

• •Moonshot AIのAIモデル「Kimi」が日本でのサービス開始を表明した
• •日本語版公式Xアカウントで「日本での歩みを始める」と投稿している
• •ユーザー獲得を目的とした有料プランのプレゼントキャンペーンも展開中