Explainable Scene Understanding with Qualitative Representations and Graph Neural Networks

要約

このホワイトペーパーでは、自動運転でのシーンを理解するためのグラフニューラルネットワーク（GNNS）と定性的説明可能なグラフ（QXG）の統合を調査します。
シーンの理解は、さらに反応的または積極的な意思決定の基礎です。
シーンの理解と関連する推論は、本質的に説明タスクです。なぜ別のトラフィック参加者が何かをしているのか、何または誰が彼らの行動を引き起こしたのですか？
以前の研究では、浅い機械学習モデルを使用したQXGSの有効性が実証されていましたが、これらのアプローチは、オブジェクトペア間の単一関係チェーンの分析に限定され、より広いシーンのコンテキストを無視していました。
グラフ構造全体を処理してトラフィックシーンで関連するオブジェクトを識別する新しいGNNアーキテクチャを提案します。
Drivelmのヒトが注目した関連ラベルが豊富なヌスケンデータセットでの方法を評価します。
実験結果は、GNNベースのアプローチがベースライン方法と比較して優れたパフォーマンスを達成することを示しています。
このモデルは、シーン内のすべてのオブジェクト間の完全な空間的関係を考慮しながら、関連するオブジェクト識別タスクの固有のクラスの不均衡を効果的に処理します。
私たちの研究は、自律運転システムで説明可能なシーン理解のために、質的表現を深い学習アプローチと組み合わせる可能性を示しています。

要約(オリジナル)

This paper investigates the integration of graph neural networks (GNNs) with Qualitative Explainable Graphs (QXGs) for scene understanding in automated driving. Scene understanding is the basis for any further reactive or proactive decision-making. Scene understanding and related reasoning is inherently an explanation task: why is another traffic participant doing something, what or who caused their actions? While previous work demonstrated QXGs’ effectiveness using shallow machine learning models, these approaches were limited to analysing single relation chains between object pairs, disregarding the broader scene context. We propose a novel GNN architecture that processes entire graph structures to identify relevant objects in traffic scenes. We evaluate our method on the nuScenes dataset enriched with DriveLM’s human-annotated relevance labels. Experimental results show that our GNN-based approach achieves superior performance compared to baseline methods. The model effectively handles the inherent class imbalance in relevant object identification tasks while considering the complete spatial-temporal relationships between all objects in the scene. Our work demonstrates the potential of combining qualitative representations with deep learning approaches for explainable scene understanding in autonomous driving systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google