DevPick フィードを見る

Hacker NewsHN投稿者: coffeemug

元記事公開: 2026/10/26

vLLMにおけるツール呼び出し精度の修正

原題: Fixing Tool-Call Accuracy in vLLM

vLLMにおけるツール呼び出し精度の修正

AI要約

生成・訂正方針

vLLM 0.31の制約付きデコーディング機能を活用し、KimiやDeepSeekモデルのツール呼び出しスキーマ精度を100%に引き上げる方法を紹介する記事。

重要ポイント

•ツール呼び出しの精度が低いと、モデルが無意味なコンテキストを積み重ねる原因となる
•vLLM 0.31で追加された制約付きデコーディングは、スキーマの遵守を保証する技術である
•この機能の有効化により、新しいKimiやDeepSeekモデルで100%のスキーマ精度が実現できる

元記事を読む

#LLM/モデル動向#生成AI活用・ツール#vLLM#Kimi #DeepSeek

もっと見る

Hacker News2026/11/5

Show HN: vLLM/SGLang用の40MB GPUクラスタマネージャー「GPUWorks」、K8s不要

vLLMやSGLang向けの軽量なGPUクラスタマネージャー「GPUWorks」が公開され、Kubernetes不要で約45MBのMaaSプラットフォームとして動作する

Hacker News2026/10/27

abliterated DeepSeek用の推論プロバイダーが5社に

abliterated言語モデルを5社の推論プロバイダー間でルーティングし、自動フォールバックや料金比較を一元管理する仕組みが紹介されている

PC Watch2026/10/26

748BのDeepSeekがGPU 1枚でさらに速く！生成は最大約2倍

LLM推論ソフトウェア「Project Maya」の最新版v1.1.28が公開され、GPU 1枚で巨大MoEモデルの高速推論が可能になった

Hacker News2026/10/25

Samsung TVs look for microphones in your house via Bluetooth and then spy events

Samsung TVs use Bluetooth to find microphones in homes and monitor events like dogs barking or babies crying, while also tracking user activity on YouTube and other apps.

TechCrunch2026/10/22

DeepSeek、米国の規制発動わずか数日後に150億ドルを調達

DeepSeekが中国最大級の資金調達ラウンドとして150億ドルを調達したと報じられ、これは米国の国家安全保障懸念による技術排除命令の数日後に行われた。