Image-to-Image Translation for Autonomous Driving from Coarsely-Aligned Image Pairs

要約

自動運転車は、安全に動作するために、悪天候 (雪など) に確実に対処できなければなりません。
このホワイト ペーパーでは、悪条件でキャプチャされたセンサー入力 (つまり、画像) を良性のもの (つまり、晴れた状態) に変換するというアイデアを調査します。これにより、下流のタスク (たとえば、セマンティック セグメンテーション) が高精度を達成できます。
以前の研究では、まったく同じカメラポーズとセマンティックレイアウトでキャプチャされたペアの画像がないため、主にこれをペアのない画像から画像への変換の問題として定式化しています。
完全に整列した画像は利用できませんが、粗いペアの画像を簡単に取得できます。
たとえば、多くの人は、天気の良い日も悪い日も毎日同じルートを運転します。
したがって、近くの GPS 位置でキャプチャされた画像はペアを形成できます。
繰り返されるトラバーサルからのデータが同じ前景オブジェクトをキャプチャする可能性は低いですが、画像変換モデルを監視するための豊富なコンテキスト情報を提供すると仮定します。
この目的のために、粗く配置された画像ペアを活用する新しいトレーニング目標を提案します。
粗く調整されたトレーニング スキームにより、画像変換の品質が向上し、セマンティック セグメンテーション、単眼深度推定、視覚的位置特定などのダウンストリーム タスクが改善されることを示します。

要約(オリジナル)

A self-driving car must be able to reliably handle adverse weather conditions (e.g., snowy) to operate safely. In this paper, we investigate the idea of turning sensor inputs (i.e., images) captured in an adverse condition into a benign one (i.e., sunny), upon which the downstream tasks (e.g., semantic segmentation) can attain high accuracy. Prior work primarily formulates this as an unpaired image-to-image translation problem due to the lack of paired images captured under the exact same camera poses and semantic layouts. While perfectly-aligned images are not available, one can easily obtain coarsely-paired images. For instance, many people drive the same routes daily in both good and adverse weather; thus, images captured at close-by GPS locations can form a pair. Though data from repeated traversals are unlikely to capture the same foreground objects, we posit that they provide rich contextual information to supervise the image translation model. To this end, we propose a novel training objective leveraging coarsely-aligned image pairs. We show that our coarsely-aligned training scheme leads to a better image translation quality and improved downstream tasks, such as semantic segmentation, monocular depth estimation, and visual localization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google