Hacker NewsHN投稿者: sanchitmonga22
元記事公開:

Show HN: TrnRT – AWS Trainium向けオープンソースLLM推論エンジン

原題: Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

Show HN: TrnRT – AWS Trainium向けオープンソースLLM推論エンジン

RunAnywhereがAWS Trainium向けオープンソース推論エンジンTrnRTを公開し、GLM-5.3 flashの高速処理を実現した

重要ポイント

  • •AWS trn2.48xlarge環境でGLM-5.3 flash (FP8)の推論に対応している
  • •単一のマシンで2つのインスタンスをサーブし、キャッシュ対応ルーターで動作する
  • •SemiAnalysisのAgentXベンチマークで3.57M TPM(毎分トークン数)を処理可能である
#半導体・インフラ#LLM/モデル動向#TrnRT#AWS Trainium#RunAnywhere
もっと見る