Hacker NewsHN投稿者: wangweinoo1
元記事公開:

Show HN: vLLM/SGLang用の40MB GPUクラスタマネージャー「GPUWorks」、K8s不要

原題: Show HN: GPUWorks – A 40 MB GPU cluster manager for vLLM/SGLang, no K8s needed

Show HN: vLLM/SGLang用の40MB GPUクラスタマネージャー「GPUWorks」、K8s不要

vLLMやSGLang向けの軽量なGPUクラスタマネージャー「GPUWorks」が公開され、Kubernetes不要で約45MBのMaaSプラットフォームとして動作する

重要ポイント

  • •vLLMやSGLangに対応した約45MBのMaaSプラットフォームである
  • •パブリッククラウドとプライベートクラウドをまたぐ単一のクラスタを構築できる
  • •Kubernetesを必要とせず、任意のアクセラレーター構成で動作する
#半導体・インフラ#生成AI活用・ツール#GPUWorks#vLLM#SGLang
もっと見る
Hacker News

GLM-5.3 Workers AIモデルにおけるリクエスト間KVキャッシュの露出(155件のレスポンス)

Workers AI上のGLM 5.3における設定の不一致がSGLangのバグを引き起こし、リクエスト間でKVキャッシュページが露出する問題が発生した

Hacker News

vLLMにおけるツール呼び出し精度の修正

vLLM 0.31の制約付きデコーディング機能を活用し、KimiやDeepSeekモデルのツール呼び出しスキーマ精度を100%に引き上げる方法を紹介する記事。

クラウド Watch

東芝、データ収集と分析基盤の統合を可能にする機能を備えたIoTシステム向けデータベース「GridDB E.E. V6.0」

東芝が大規模IoT向け時系列データベース「GridDB E.E. V6.0」の提供を開始し、ペタバイト級データのリアルタイム処理とSQLによる開発の容易性を強化した

ITmedia

Google、ワイオミング州のデータセンターなどに170億ドル投資へ 電力費全額負担を約束

Googleがワイオミング州への170億ドルのデータセンター投資を発表し、電力費の全額負担と環境配慮型発電設備の導入を約束した

The Verge

OpenAI、データセンタープロジェクトにおけるNDA(秘密保持契約)の利用を縮小

中間選挙でデータセンター拡大への反対が示された後、OpenAIは公職者とのNDA利用を控えるなど、地域社会への新たなコミットメントを発表した。