Transtreaming: Adaptive Delay-aware Transformer for Real-time Streaming Perception

要約

リアルタイムの物体検出は、自動運転における衝突回避や経路計画など、多くの実世界のアプリケーションの意思決定プロセスにとって重要です。
この研究では、革新的なリアルタイム ストリーミング認識手法である Transtreaming を紹介します。これは、動的計算遅延によるリアルタイム オブジェクト検出の課題に対処します。
Transtreaming の中心的な革新は、その適応型遅延認識トランスフォーマーにあります。これは、複数の将来のフレームを同時に予測し、現実世界の現在時刻に最も一致する出力を選択し、システムに起因する計算遅延を補償します。
提案されたモデルは、トランスベースの方法論を活用することにより、単一フレーム検出シナリオであっても、既存の最先端の方法よりも優れた性能を発揮します。
強力な V100 から控えめな 2080Ti まで、さまざまなデバイスにわたって堅牢なパフォーマンスを実証し、すべてのプラットフォームで最高レベルの知覚精度を実現します。
性能の低いデバイスでは単一フレーム内で計算を完了するのに苦労するほとんどの最先端の方法とは異なり、トランスストリーミングはあらゆる種類のデバイスでの厳しいリアルタイム処理要件を満たします。
実験結果は、システムの適応性と、自動運転などの多くの実世界のシステムの安全性と信頼性を大幅に向上させる可能性を強調しています。

要約(オリジナル)

Real-time object detection is critical for the decision-making process for many real-world applications, such as collision avoidance and path planning in autonomous driving. This work presents an innovative real-time streaming perception method, Transtreaming, which addresses the challenge of real-time object detection with dynamic computational delay. The core innovation of Transtreaming lies in its adaptive delay-aware transformer, which can concurrently predict multiple future frames and select the output that best matches the real-world present time, compensating for any system-induced computation delays. The proposed model outperforms the existing state-of-the-art methods, even in single-frame detection scenarios, by leveraging a transformer-based methodology. It demonstrates robust performance across a range of devices, from powerful V100 to modest 2080Ti, achieving the highest level of perceptual accuracy on all platforms. Unlike most state-of-the-art methods that struggle to complete computation within a single frame on less powerful devices, Transtreaming meets the stringent real-time processing requirements on all kinds of devices. The experimental results emphasize the system’s adaptability and its potential to significantly improve the safety and reliability for many real-world systems, such as autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google