Hacker NewsHN submitter: guanming0717
Original published:

Show HN: InstinctFlash – Run 5B world-action models in real time on Jetson Thor

General Instinctが、ロボティクスモデル向けの高パフォーマンスサービングフレームワークInstinctFlashを公開し、Jetson Thor上で大幅な速度向上を実現した

Key points

  • •Jetson Thor上でランタイム最適化のみで約1.2倍から7.9倍の高速化を実現し、蒸留された拡散スケジューラと組み合わせると最大33.78倍の高速化に成功した
  • •LingBot-VAモデルにおいて、元の25ステップの視覚処理と50ステップのアクション処理を、それぞれ2ステップと4ステップに削減して高速化を実現している
  • •50個のRobotwin2.0タスクに対して1,153エピソードの評価を行い、フレームワークの有効性を検証した
See more