CROVIA: Seeing Drone Scenes from Car Perspective via Cross-View Adaptation

要約

タイトル：CROVIA：クロスビューアダプテーションによる車の視点からのドローンシーンの視覚化

要約：
– UAVの視点から捉えられた都市シーンの意味論的なシーンセグメンテーションの理解は、UAVの知覚モデルを構築するために重要な役割を果たします。
– 大規模で密にラベル付けされたデータの制限により、UAVビューのセマンティックシーンセグメンテーションには、オブジェクトを両方の視点から広く理解する必要があります。
– 自律走行データからラベルのないUAVデータに適応することは、2つのデータタイプのクロスビューの違いがあるため、難しいです。
– 新しい幾何制約クロスビュー（GeiCo）損失を介して、画像空間からクロスビュー相関がセグメンテーション空間に効果的に転送されるため、クロスビューアダプテーション（CROVIA）アプローチを提案します。
– 実験では、SYNTHIAからUAVID、GTA5からUAVIDへの新しいクロスビューアダプテーションのベンチマークで、我々の手法が優れた性能を示し、従来の適応方法を上回ることが示されています。

要点：
– UAVの視点からの都市シーンセグメンテーションの理解は、UAVの知覚モデルを構築することに関する重要な問題である。
– 大規模かつ密にラベル付けされたデータの制限により、UAVビューのセマンティックシーンセグメンテーションは、オブジェクトを両方の視点から理解する必要がある。
– 自律走行データからラベルのないUAVデータに適応することは、データの種類のクロスビューの違いがあるため、課題となる。
– 新しい幾何制約クロスビュー（GeiCo）損失を介して、画像空間からクロスビュー相関がセグメンテーション空間に効果的に転送されるため、クロスビューアダプテーション（CROVIA）アプローチを提案。
– 実験では、SYNTHIAからUAVID、GTA5からUAVIDへの新しいクロスビューアダプテーションのベンチマークで、現在最高の性能を発揮している。

要約(オリジナル)

Understanding semantic scene segmentation of urban scenes captured from the Unmanned Aerial Vehicles (UAV) perspective plays a vital role in building a perception model for UAV. With the limitations of large-scale densely labeled data, semantic scene segmentation for UAV views requires a broad understanding of an object from both its top and side views. Adapting from well-annotated autonomous driving data to unlabeled UAV data is challenging due to the cross-view differences between the two data types. Our work proposes a novel Cross-View Adaptation (CROVIA) approach to effectively adapt the knowledge learned from on-road vehicle views to UAV views. First, a novel geometry-based constraint to cross-view adaptation is introduced based on the geometry correlation between views. Second, cross-view correlations from image space are effectively transferred to segmentation space without any requirement of paired on-road and UAV view data via a new Geometry-Constraint Cross-View (GeiCo) loss. Third, the multi-modal bijective networks are introduced to enforce the global structural modeling across views. Experimental results on new cross-view adaptation benchmarks introduced in this work, i.e., SYNTHIA to UAVID and GTA5 to UAVID, show the State-of-the-Art (SOTA) performance of our approach over prior adaptation methods

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI