Attention Mechanism for Contrastive Learning in GAN-based Image-to-Image Translation

要約

自動運転アルゴリズムを最適化するために実際のロード テストを使用するには、時間がかかり、資本集約的です。
この問題を解決するために、さまざまなドメインにわたって高品質の画像を生成できる GAN ベースのモデルを提案します。
さらに、Contrastive Learning を活用して、実際のセンサーと 3D ゲームからのシミュレートされた画像を使用して現実世界で取得した画像データを使用して、自己教師ありの方法でモデルをトレーニングします。
このホワイト ペーパーでは、アテンション メカニズム モジュールを適用して、重要度の測定に従って、ソース ドメインに関するより多くの情報を含む機能を強調します。
最後に、生成された画像をデータセットとして使用してニューラル ネットワークをトレーニングし、さまざまなダウンストリーム タスクを実行して、アプローチが仮想世界と現実世界の間のギャップを埋めることができることを確認します。

要約(オリジナル)

Using real road testing to optimize autonomous driving algorithms is time-consuming and capital-intensive. To solve this problem, we propose a GAN-based model that is capable of generating high-quality images across different domains. We further leverage Contrastive Learning to train the model in a self-supervised way using image data acquired in the real world using real sensors and simulated images from 3D games. In this paper, we also apply an Attention Mechanism module to emphasize features that contain more information about the source domain according to their measurement of significance. Finally, the generated images are used as datasets to train neural networks to perform a variety of downstream tasks to verify that the approach can fill in the gaps between the virtual and real worlds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google