EDAPS: Enhanced Domain-Adaptive Panoptic Segmentation

要約

タイトル：EDAPS：エンハンスト・ドメイン・アダプティブ・パノプティック・セグメンテーション
要約：
– 自律型産業の発展に伴い、視覚認識技術におけるドメイン適応の研究が重要となっています。
– これまでのドメイン適応の研究は、主に合成データから現実のデータへのセマンティック・セグメンテーションに焦点が当てられてきました。
– しかし、パノプティック・セグメンテーションは認識技術の重要な出力でありながら、ドメイン適応の研究者たちからはほとんど注目されていませんでした。
– そこで、本論文では、他の分野でよく機能するドメイン適応ストラテジーをパノプティック・セグメンテーションに適用し、効果的にドメイン適応を強化できることを示しました。
– さらに、パノプティック・ネットワークの設計を研究し、ドメイン適応に特化した新しいアーキテクチャ（EDAPS）を提案しました。
– EDAPSは、共有ドメインロバストのトランスフォーマエンコーダを使用してセマンティックおよびインスタンスフィーチャーの共同適応を容易にし、タスク固有のデコーダを使用して、セマンティックおよびインスタンスセグメンテーションのそれぞれの要件に合わせています。
– 結果、難しいパノプティックのベンチマークで見られるパフォーマンスギャップが大幅に縮小されました。
– EDAPSはSYNTHIA-to-Cityscapesでは25％、SYNTHIA-to-Mapillary Vistasでは72％の大幅な既存手法改善を達成しました。
– 実装はhttps://github.com/susaha/edapsで利用可能です。

要約(オリジナル)

With autonomous industries on the rise, domain adaptation of the visual perception stack is an important research direction due to the cost savings promise. Much prior art was dedicated to domain-adaptive semantic segmentation in the synthetic-to-real context. Despite being a crucial output of the perception stack, panoptic segmentation has been largely overlooked by the domain adaptation community. Therefore, we revisit well-performing domain adaptation strategies from other fields, adapt them to panoptic segmentation, and show that they can effectively enhance panoptic domain adaptation. Further, we study the panoptic network design and propose a novel architecture (EDAPS) designed explicitly for domain-adaptive panoptic segmentation. It uses a shared, domain-robust transformer encoder to facilitate the joint adaptation of semantic and instance features, but task-specific decoders tailored for the specific requirements of both domain-adaptive semantic and instance segmentation. As a result, the performance gap seen in challenging panoptic benchmarks is substantially narrowed. EDAPS significantly improves the state-of-the-art performance for panoptic segmentation UDA by a large margin of 25% on SYNTHIA-to-Cityscapes and even 72% on the more challenging SYNTHIA-to-Mapillary Vistas. The implementation is available at https://github.com/susaha/edaps.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI