Hacker NewsHN投稿者: guanming0717
元記事公開:
Show HN: Jetson Thorで5Bクラスのワールドアクションモデルをリアルタイム実行するInstinctFlash
原題: Show HN: InstinctFlash – Run 5B world-action models in real time on Jetson Thor
AI要約
General Instinctが、ロボティクスモデル向けの高パフォーマンスサービングフレームワークInstinctFlashを公開し、Jetson Thor上で大幅な速度向上を実現した
重要ポイント
- •Jetson Thor上でランタイム最適化のみで約1.2倍から7.9倍の高速化を実現し、蒸留された拡散スケジューラと組み合わせると最大33.78倍の高速化に成功した
- •LingBot-VAモデルにおいて、元の25ステップの視覚処理と50ステップのアクション処理を、それぞれ2ステップと4ステップに削減して高速化を実現している
- •50個のRobotwin2.0タスクに対して1,153エピソードの評価を行い、フレームワークの有効性を検証した