Learning to Generate Training Datasets for Robust Semantic Segmentation

要約

セマンティック セグメンテーション技術は近年大幅な進歩を見せていますが、現実世界の摂動やトレーニング中に見られないデータ サンプルに対する堅牢性は、特に安全性が重要なアプリケーションにおいて依然として課題となっています。
この論文では、ラベルから画像へのジェネレーターと画像からラベルへのセグメンテーション モデル間の相乗効果を活用することで、セマンティック セグメンテーション技術の堅牢性を向上させる新しいアプローチを提案します。
具体的には、信頼性の高いセグメンテーション モデルのトレーニングに使用できる、現実的でもっともらしい摂動画像または外れ値画像を生成する、新しい堅牢な条件付き敵対的生成ネットワークである Robusta を設計およびトレーニングします。
私たちは、提案された生成モデルの詳細な研究を実施し、下流のセグメンテーション ネットワークのパフォーマンスと堅牢性を評価し、現実世界の摂動、分布の変化、および影響に直面した場合に、私たちのアプローチがセマンティック セグメンテーション技術の堅牢性を大幅に強化できることを実証します。
配布終了のサンプル。
私たちの結果は、セマンティック セグメンテーション技術の信頼性が最も重要であり、推論の計算量が限られている安全性が重要なアプリケーションにおいて、このアプローチが価値がある可能性があることを示唆しています。
コードは間もなくリリースされる予定です。

要約(オリジナル)

Semantic segmentation techniques have shown significant progress in recent years, but their robustness to real-world perturbations and data samples not seen during training remains a challenge, particularly in safety-critical applications. In this paper, we propose a novel approach to improve the robustness of semantic segmentation techniques by leveraging the synergy between label-to-image generators and image-to-label segmentation models. Specifically, we design and train Robusta, a novel robust conditional generative adversarial network to generate realistic and plausible perturbed or outlier images that can be used to train reliable segmentation models. We conduct in-depth studies of the proposed generative model, assess the performance and robustness of the downstream segmentation network, and demonstrate that our approach can significantly enhance the robustness of semantic segmentation techniques in the face of real-world perturbations, distribution shifts, and out-of-distribution samples. Our results suggest that this approach could be valuable in safety-critical applications, where the reliability of semantic segmentation techniques is of utmost importance and comes with a limited computational budget in inference. We will release our code shortly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google