Scene Informer: Anchor-based Occlusion Inference and Trajectory Prediction in Partially Observable Environments

要約

複雑で動的な環境をナビゲートするには、自動運転車 (AV) が可視領域と遮蔽領域の両方を判断する必要があります。
これには、観察されたエージェントの将来の動きを予測し、遮蔽されたエージェントを推測し、部分的に観察可能な環境のベクトル化されたシーン表現に基づいてそれらの相互作用をモデル化することが含まれます。
ただし、オクルージョン推論と軌道予測に関するこれまでの研究は個別に開発されており、前者は単純化されたラスター化手法に基づいており、後者は完全な環境可観測性を前提としています。
我々は、観察されたエージェントの軌道を予測し、部分的に観察可能な設定でオクルージョンを推測するための統合アプローチである、Scene Informer を導入します。
トランスフォーマーを使用してさまざまな入力モダリティを集約し、AV の計画されたパスと交差する可能性のあるオクルージョンに対する選択的なクエリを容易にします。
このフレームワークは、占有確率とオクルージョンの可能性のある軌道を推定するだけでなく、観察されたエージェントの動きを予測します。
両方のドメインにおける共通の可観測性の前提と、そのパフォーマンスへの影響を調査します。
私たちのアプローチは、Waymo Open Motion Dataset 上の部分的に観測可能な設定における占有予測と軌道予測の両方において、既存の方法よりも優れています。

要約(オリジナル)

Navigating complex and dynamic environments requires autonomous vehicles (AVs) to reason about both visible and occluded regions. This involves predicting the future motion of observed agents, inferring occluded ones, and modeling their interactions based on vectorized scene representations of the partially observable environment. However, prior work on occlusion inference and trajectory prediction have developed in isolation, with the former based on simplified rasterized methods and the latter assuming full environment observability. We introduce the Scene Informer, a unified approach for predicting both observed agent trajectories and inferring occlusions in a partially observable setting. It uses a transformer to aggregate various input modalities and facilitate selective queries on occlusions that might intersect with the AV’s planned path. The framework estimates occupancy probabilities and likely trajectories for occlusions, as well as forecast motion for observed agents. We explore common observability assumptions in both domains and their performance impact. Our approach outperforms existing methods in both occupancy prediction and trajectory prediction in partially observable setting on the Waymo Open Motion Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google