Show HN: TrnRT – AWS Trainium向けオープンソースLLM推論エンジン
原題: Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
AI要約
生成・訂正方針RunAnywhereがAWS Trainium向けオープンソース推論エンジンTrnRTを公開し、GLM-5.3 flashの高速処理を実現した
重要ポイント
- •AWS trn2.48xlarge環境でGLM-5.3 flash (FP8)の推論に対応している
- •単一のマシンで2つのインスタンスをサーブし、キャッシュ対応ルーターで動作する
- •SemiAnalysisのAgentXベンチマークで3.57M TPM(毎分トークン数)を処理可能である
#半導体・インフラ#LLM/モデル動向#TrnRT#AWS Trainium#RunAnywhere