Transparency Distortion Robustness for SOTA Image Segmentation Tasks

要約

セマンティック イメージ セグメンテーションは、自動運転から産業プロセスの監視、人間の視覚支援に至るまで、現実世界の多数のアプリケーションを促進します。
これらのモデルは通常、入力例を使用して教師あり形式でトレーニングされます。
これらの例と動作中の入力の間の分布のずれにより、誤ったセグメンテーションが発生する可能性があります。
カメラや照明のセットアップの違い、レンズの歪み、敵対的な入力、画像の破損などによって引き起こされる分布シフトに対するセマンティック セグメンテーション モデルの堅牢性が、最近の研究のテーマとなっています。
しかし、不均一なガラス構造 (窓など) や加熱された空気の無秩序な屈折によって引き起こされる、空間的に変化する放射状の歪み効果に対する堅牢性については、研究コミュニティによってまだ検討されていません。
空間的に変化する歪みを使用して既存のデータセットを合成的に拡張する方法を提案します。
私たちの実験では、これらの歪みの影響により、最先端のセグメンテーション モデルのパフォーマンスが低下することがわかりました。
事前トレーニングとモデル容量の拡大は、パフォーマンスの低下をある程度軽減するための適切な戦略であることが証明されていますが、歪んだ画像の微調整はわずかなパフォーマンスの向上にしかつながりません。

要約(オリジナル)

Semantic Image Segmentation facilitates a multitude of real-world applications ranging from autonomous driving over industrial process supervision to vision aids for human beings. These models are usually trained in a supervised fashion using example inputs. Distribution Shifts between these examples and the inputs in operation may cause erroneous segmentations. The robustness of semantic segmentation models against distribution shifts caused by differing camera or lighting setups, lens distortions, adversarial inputs and image corruptions has been topic of recent research. However, robustness against spatially varying radial distortion effects that can be caused by uneven glass structures (e.g. windows) or the chaotic refraction in heated air has not been addressed by the research community yet. We propose a method to synthetically augment existing datasets with spatially varying distortions. Our experiments show, that these distortion effects degrade the performance of state-of-the-art segmentation models. Pretraining and enlarged model capacities proof to be suitable strategies for mitigating performance degradation to some degree, while fine-tuning on distorted images only leads to marginal performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google