Explainable Action Prediction through Self-Supervision on Scene Graphs

要約

本研究では、自律走行における高レベル情報の抽出表現として、シーングラフを探索し、将来のドライバーの行動予測に適用する。データサンプルの不足と強い不均衡を考慮し、我々は代表的でよく分離された埋め込みを推測するための自己教師パイプラインを提案する。そのため、シーングラフ上に空間的・時間的ヒートマップを作成することができる注意メカニズムを組み込む。本システムをROADデータセットで完全教師ありアプローチと比較評価し、我々の学習方式の優位性を示す。

要約(オリジナル)

This work explores scene graphs as a distilled representation of high-level information for autonomous driving, applied to future driver-action prediction. Given the scarcity and strong imbalance of data samples, we propose a self-supervision pipeline to infer representative and well-separated embeddings. Key aspects are interpretability and explainability; as such, we embed in our architecture attention mechanisms that can create spatial and temporal heatmaps on the scene graphs. We evaluate our system on the ROAD dataset against a fully-supervised approach, showing the superiority of our training regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL