Video Killed the HD-Map: Predicting Multi-Agent Behavior Directly From Aerial Images

要約

人間のデモンストレーションを使用してマルチエージェントの行動モデルを学習するアルゴリズムの開発により、自動運転の分野でのシミュレーションがますます現実的になりました。
一般に、このようなモデルは、手動で注釈を付けた高精細 (HD) 地図から取得した走行可能な車線などの道路コンテキスト情報を活用することで、制御されているすべてのエージェントの軌道を共同で予測する方法を学習します。
最近の研究では、これらのモデルがトレーニングに利用できる人間のデータの量を増やすことで大きな恩恵を受けることが示されています。
ただし、新しい場所ごとに必要な HD マップへの手動アノテーションが、人的交通データセットを効率的にスケールアップする際のボトルネックとなっています。
最小限の注釈を必要とし、歩行者や車両などの交通エージェントに豊富な道路コンテキスト情報を提供する航空画像ベースの地図 (AIM) 表現を提案します。
AIM を画像テクスチャベースの微分可能レンダリング モジュールとして微分可能ドライビング シミュレータに組み込むことにより、AIM を使用したマルチエージェントの軌道予測を評価します。
私たちの結果は、ラスター化された HD マップでトレーニングされたモデルと比較して、AIM 表現を使用した場合、特にシーン内の歩行者に対して競合するマルチエージェントの軌道予測パフォーマンスを示しています。

要約(オリジナル)

The development of algorithms that learn multi-agent behavioral models using human demonstrations has led to increasingly realistic simulations in the field of autonomous driving. In general, such models learn to jointly predict trajectories for all controlled agents by exploiting road context information such as drivable lanes obtained from manually annotated high-definition (HD) maps. Recent studies show that these models can greatly benefit from increasing the amount of human data available for training. However, the manual annotation of HD maps which is necessary for every new location puts a bottleneck on efficiently scaling up human traffic datasets. We propose an aerial image-based map (AIM) representation that requires minimal annotation and provides rich road context information for traffic agents like pedestrians and vehicles. We evaluate multi-agent trajectory prediction using the AIM by incorporating it into a differentiable driving simulator as an image-texture-based differentiable rendering module. Our results demonstrate competitive multi-agent trajectory prediction performance especially for pedestrians in the scene when using our AIM representation as compared to models trained with rasterized HD maps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google