Optimization and Interpretability of Graph Attention Networks for Small Sparse Graph Structures in Automotive Applications

要約

自動車アプリケーションの場合、グラフ アテンション ネットワーク (GAT) は、機能の埋め込み中に交通シナリオのリレーショナル情報を含めるためによく使用されるアーキテクチャです。
ただし、この研究で示されているように、最も一般的な GAT 実現の 1 つである GATv2 には、最適なパラメーター学習を妨げる潜在的な落とし穴があります。
特に小さくてまばらなグラフ構造の場合、適切な最適化には問題があります。
限界を超えるために、この作業では GATv2 のアーキテクチャ上の変更を提案しています。
制御された実験では、提案されたモデル適応により、ノードレベルの回帰タスクの予測パフォーマンスが向上し、パラメーターの初期化に対してより堅牢になることが示されています。
この研究は、注意のメカニズムをより深く理解することを目的としており、因果関係の重要性を特定する際の解釈可能性を分析します。

要約(オリジナル)

For automotive applications, the Graph Attention Network (GAT) is a prominently used architecture to include relational information of a traffic scenario during feature embedding. As shown in this work, however, one of the most popular GAT realizations, namely GATv2, has potential pitfalls that hinder an optimal parameter learning. Especially for small and sparse graph structures a proper optimization is problematic. To surpass limitations, this work proposes architectural modifications of GATv2. In controlled experiments, it is shown that the proposed model adaptions improve prediction performance in a node-level regression task and make it more robust to parameter initialization. This work aims for a better understanding of the attention mechanism and analyzes its interpretability of identifying causal importance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google