Learning to Generate Training Datasets for Robust Semantic Segmentation

要約

セマンティックセグメンテーションの手法は著しく進歩している。しかし、実世界の摂動や、学習中に見られなかったオブジェクトタイプに対する頑健性は、特にセーフティクリティカルなアプリケーションにおいては、依然として課題である。我々は、ラベルから画像へのセグメンテーションジェネレータと画像からラベルへのセグメンテーションモデルの相乗効果を活用することで、セマンティックセグメンテーション手法の頑健性を向上させる新しいアプローチを提案する。具体的には、信頼性の高いセグメンテーションモデルの学習に使用できる、現実的でもっともらしい摂動画像を生成するための、新しいロバストな条件付き敵対的生成ネットワークであるRobustaを設計する。提案する生成モデルの詳細な研究を行い、下流のセグメンテーションネットワークの性能とロバスト性を評価し、我々のアプローチが、現実世界の摂動、分布シフト、分布外サンプルに直面しても、ロバスト性を大幅に向上できることを実証する。我々の結果は、このアプローチが、セマンティックセグメンテーションのような知覚モジュールの信頼性が最も重要であり、推論における計算予算が限られているセーフティクリティカルなアプリケーションにおいて有用であることを示唆している。我々のコードをhttps://github.com/ENSTA-U2IS/robusta。

要約(オリジナル)

Semantic segmentation methods have advanced significantly. Still, their robustness to real-world perturbations and object types not seen during training remains a challenge, particularly in safety-critical applications. We propose a novel approach to improve the robustness of semantic segmentation techniques by leveraging the synergy between label-to-image generators and image-to-label segmentation models. Specifically, we design Robusta, a novel robust conditional generative adversarial network to generate realistic and plausible perturbed images that can be used to train reliable segmentation models. We conduct in-depth studies of the proposed generative model, assess the performance and robustness of the downstream segmentation network, and demonstrate that our approach can significantly enhance the robustness in the face of real-world perturbations, distribution shifts, and out-of-distribution samples. Our results suggest that this approach could be valuable in safety-critical applications, where the reliability of perception modules such as semantic segmentation is of utmost importance and comes with a limited computational budget in inference. We release our code at https://github.com/ENSTA-U2IS/robusta.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL