Valeo4Cast: A Modular Approach to End-to-End Forecasting

要約

動き予測は、歩行者、車両、信号機などの周囲のエージェントの将来の軌道を予測するために、自動運転システムにおいて重要です。
エンドツーエンドの予測では、モデルはセンサー データ (カメラまたは LiDAR) からシーンのさまざまな要素の過去の軌跡を共同で検出および追跡し、それらの将来の位置を予測する必要があります。
私たちは、認識から予測までのエンドツーエンドのトレーニングを介してこのタスクに取り組むという現在の傾向から離れ、代わりにモジュール式のアプローチを使用します。
検出、追跡、予測モジュールを個別に構築してトレーニングします。
その後、モジュールをより適切に統合し、複合エラーを軽減するために、連続した微調整ステップのみを使用します。
私たちは微調整戦略に関する詳細な調査を実施し、シンプルかつ効果的なアプローチにより、エンドツーエンドの予測ベンチマークのパフォーマンスが大幅に向上することが明らかになりました。
その結果、当社のソリューションは Argoverse 2 エンドツーエンド予測チャレンジで 63.82 mAPf を獲得し、1 位にランクされました。
昨年の優勝者に対して+17.1ポイント、今年の準優勝者に対して+13.3ポイントと予想実績を上回りました。
予測におけるこの顕著なパフォーマンスは、微調整戦略を統合し、エンドツーエンドでトレーニングされた対応物を大幅に上回るモジュール式パラダイムによって説明できます。
コード、モデルの重み、結果は https://github.com/valeoai/valeo4cast から入手できます。

要約(オリジナル)

Motion forecasting is crucial in autonomous driving systems to anticipate the future trajectories of surrounding agents such as pedestrians, vehicles, and traffic signals. In end-to-end forecasting, the model must jointly detect and track from sensor data (cameras or LiDARs) the past trajectories of the different elements of the scene and predict their future locations. We depart from the current trend of tackling this task via end-to-end training from perception to forecasting, and instead use a modular approach. We individually build and train detection, tracking and forecasting modules. We then only use consecutive finetuning steps to integrate the modules better and alleviate compounding errors. We conduct an in-depth study on the finetuning strategies and it reveals that our simple yet effective approach significantly improves performance on the end-to-end forecasting benchmark. Consequently, our solution ranks first in the Argoverse 2 End-to-end Forecasting Challenge, with 63.82 mAPf. We surpass forecasting results by +17.1 points over last year’s winner and by +13.3 points over this year’s runner-up. This remarkable performance in forecasting can be explained by our modular paradigm, which integrates finetuning strategies and significantly outperforms the end-to-end-trained counterparts. The code, model weights and results are made available https://github.com/valeoai/valeo4cast.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google