DaDe: Delay-adaptive Detector for Streaming Perception

要約

自動運転では、周辺環境を低遅延で認識することが重要です。
リアルタイム環境では、処理が終わると周囲の環境が変化します。
現在の検出モデルでは、処理後に発生する環境の変化に対応できません。
リアルタイム ビデオ認識の遅延と精度を評価するために、ストリーミング認識が提案されています。
ただし、ハードウェア リソースの制限、高温などの要因により、実際のアプリケーションでは別の問題が発生します。
この研究では、処理の遅延をリアルタイムで反映し、最も妥当な結果を生成できるモデルを開発します。
提案された機能キューと機能選択モジュールを組み込むことにより、システムは追加の計算コストなしで特定の時間ステップを予測する能力を獲得します。
私たちの方法は、Argoverse-HD データセットでテストされています。
遅延時の様々な環境で現在の最先端手法(2022.12)よりも高い性能を実現しています。
コードは https://github.com/danjos95/DADE で入手できます。

要約(オリジナル)

Recognizing the surrounding environment at low latency is critical in autonomous driving. In real-time environment, surrounding environment changes when processing is over. Current detection models are incapable of dealing with changes in the environment that occur after processing. Streaming perception is proposed to assess the latency and accuracy of real-time video perception. However, additional problems arise in real-world applications due to limited hardware resources, high temperatures, and other factors. In this study, we develop a model that can reflect processing delays in real time and produce the most reasonable results. By incorporating the proposed feature queue and feature select module, the system gains the ability to forecast specific time steps without any additional computational costs. Our method is tested on the Argoverse-HD dataset. It achieves higher performance than the current state-of-the-art methods(2022.12) in various environments when delayed . The code is available at https://github.com/danjos95/DADE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google