FipTR: A Simple yet Effective Transformer Framework for Future Instance Prediction in Autonomous Driving

要約

Bird’s Eye View(BEV) の観点からの将来のインスタンスの予測は、自動運転において重要なコンポーネントであり、将来のインスタンスのセグメント化とインスタンスの動きの予測が含まれます。
既存の方法は通常、複数の補助出力と後処理手順を必要とする冗長で複雑なパイプラインに依存しています。
さらに、各補助予測の推定誤差は予測パフォーマンスの低下につながります。
この論文では、Future Instance Prediction Transformer(FipTR)という名前の、シンプルで効果的な完全エンドツーエンドのフレームワークを提案します。このフレームワークは、タスクをBEVインスタンスのセグメンテーションと将来のフレームの予測と見なします。
特定のトラフィック参加者を表すインスタンス クエリを採用して、対応する将来の占有マスクを直接推定し、複雑な後処理手順を取り除くことを提案します。
さらに、オフセットサンプリングを誘導する逆流を考慮した流れを意識した変形可能な注意から構成される、将来のBEV特徴予測のための流れを意識したBEV予測器を考案します。
時間的コヒーレンスをさらに改善するために、新しい将来のインスタンスのマッチング戦略も提案されています。
広範な実験により、FipTR の優位性と、さまざまな時間 BEV エンコーダー下でのその有効性が実証されています。

要約(オリジナル)

The future instance prediction from a Bird’s Eye View(BEV) perspective is a vital component in autonomous driving, which involves future instance segmentation and instance motion prediction. Existing methods usually rely on a redundant and complex pipeline which requires multiple auxiliary outputs and post-processing procedures. Moreover, estimated errors on each of the auxiliary predictions will lead to degradation of the prediction performance. In this paper, we propose a simple yet effective fully end-to-end framework named Future Instance Prediction Transformer(FipTR), which views the task as BEV instance segmentation and prediction for future frames. We propose to adopt instance queries representing specific traffic participants to directly estimate the corresponding future occupied masks, and thus get rid of complex post-processing procedures. Besides, we devise a flow-aware BEV predictor for future BEV feature prediction composed of a flow-aware deformable attention that takes backward flow guiding the offset sampling. A novel future instance matching strategy is also proposed to further improve the temporal coherence. Extensive experiments demonstrate the superiority of FipTR and its effectiveness under different temporal BEV encoders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google