Kimi

The article explains how to achieve 100% tool call schema accuracy with Kimi and DeepSeek models by utilizing the constrained decoding feature introduced in vLLM 0.31.

• •Inaccurate tool calls cause models to build up nonsensical context.
• •Constrained decoding, added in vLLM 0.31, is a technique that guarantees schema adherence.
• •Enabling this feature allows newer Kimi and DeepSeek models to reach 100% schema accuracy.

MacBook Pro上で複数のSSDを使用してKimi K3モデルをストリーミングし、1トークン/秒の速度で実行する技術的な実証が行われた。

• •2.8Tパラメータを持つKimi K3モデルをMacBook Proで動作させる試みが報告されている
• •4つのSSDからモデルをストリーミングすることで推論を実現した
• •1トークン/秒という低速だが、エッジデバイスでの大規模モデル実行の可能性を示す実験である

中国のAIスタートアップMoonshot AIが開発するAIモデル「Kimi」が、公式Xアカウントを通じて日本市場への本格進出を示唆した。有料プランのプレゼントキャンペーンも実施。

• •Moonshot AIのAIモデル「Kimi」が日本でのサービス開始を表明した
• •日本語版公式Xアカウントで「日本での歩みを始める」と投稿している
• •ユーザー獲得を目的とした有料プランのプレゼントキャンペーンも展開中