TechCrunchby Russell Brandom
Original published:

OpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show

OpenAIが独自開発したJalapeñoチップが推論ベンチマークで高性能を示した。ユーザーあたりのトークン数とキロワットあたりのスループットで最新技術を凌駕した。

Key points

  • •SemiAnalysisのInferenceXベンチマークで、既存の最先端チップを上回る性能を示した
  • •大規模な推論処理に特化しており、エネルギー効率と処理速度の両面で優れている
  • •ユーザーあたりのトークン生成数と電力あたりのスループットで記録を更新した
See more