ExAgt: Expert-guided Augmentation for Representation Learning of Traffic Scenarios

要約

近年の表現学習は、自己教師あり学習法で対処されています。
入力データは2つの歪んだビューに拡張され、エンコーダーは歪みに対して不変の表現、つまりクロスビュー予測を学習します。
拡張は、視覚的表現を学習するためのクロスビュー自己教師あり学習フレームワークの重要なコンポーネントの1つです。
このホワイトペーパーでは、ExAgtを紹介します。これは、交通シナリオを拡張するための専門知識を組み込んで、人間の注釈なしで学習した表現を改善するための新しい方法です。
専門家による拡張は、インフラストラクチャ、EGOと交通参加者間の相互作用、および理想的なセンサーモデルに基づいて自動化された方法で生成されます。
ExAgtメソッドは、2つの最先端のクロスビュー予測メソッドに適用され、学習された表現は、分類やクラスタリングなどのダウンストリームタスクでテストされます。
結果は、ExAgtメソッドが、標準の拡張のみを使用する場合と比較して表現学習を改善し、表現空間の安定性を向上させることを示しています。
コードは\url{https://github.com/lab176344/ExAgt}で入手できます。

要約(オリジナル)

Representation learning in recent years has been addressed with self-supervised learning methods. The input data is augmented into two distorted views and an encoder learns the representations that are invariant to distortions — cross-view prediction. Augmentation is one of the key components in cross-view self-supervised learning frameworks to learn visual representations. This paper presents ExAgt, a novel method to include expert knowledge for augmenting traffic scenarios, to improve the learnt representations without any human annotation. The expert-guided augmentations are generated in an automated fashion based on the infrastructure, the interactions between the EGO and the traffic participants and an ideal sensor model. The ExAgt method is applied in two state-of-the-art cross-view prediction methods and the representations learnt are tested in downstream tasks like classification and clustering. Results show that the ExAgt method improves representation learning compared to using only standard augmentations and it provides a better representation space stability. The code is available at \url{https://github.com/lab176344/ExAgt}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google