Attention-based Adversarial Appearance Learning of Augmented Pedestrians

要約

合成データはすでに、自動運転分野における機械学習ベースの認識に不可欠な要素となっています。
しかし、sim2real ドメインのシフトにより、実際のデータを完全に置き換えることはまだできません。
この研究では、拡張プロセスと敵対的トレーニングの利点を活用して、歩行者認識タスク用の現実的なデータを合成する方法を提案します。
私たちのアプローチは、敵対的損失によって駆動される注意メカニズムを利用して、ドメインの不一致を学習し、sim2real の適応を改善します。
私たちの実験では、提案された適応方法がそのような不一致に対して堅牢であり、視覚的なリアリズムと意味上の一貫性の両方を明らかにすることが確認されています。
さらに、歩行者認識タスクに関するデータ生成パイプラインを評価し、生成されたデータが実際のドメインのプロパティに似ていることを実証します。

要約(オリジナル)

Synthetic data became already an essential component of machine learning-based perception in the field of autonomous driving. Yet it still cannot replace real data completely due to the sim2real domain shift. In this work, we propose a method that leverages the advantages of the augmentation process and adversarial training to synthesize realistic data for the pedestrian recognition task. Our approach utilizes an attention mechanism driven by an adversarial loss to learn domain discrepancies and improve sim2real adaptation. Our experiments confirm that the proposed adaptation method is robust to such discrepancies and reveals both visual realism and semantic consistency. Furthermore, we evaluate our data generation pipeline on the task of pedestrian recognition and demonstrate that generated data resemble properties of the real domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google