Benchmarking Segmentation Models with Mask-Preserved Attribute Editing

要約

セグメンテーションモデルを実用に供する際には、多様で複雑なシーンにおける挙動を評価することが重要である。これまでの評価パラダイムでは、悪天候などの大域的な属性の変化のみを考慮していたが、本研究では、ロバスト性を評価するために、局所的な属性変化と大域的な属性変化の両方を調査する。これを実現するために、実画像の視覚属性を構造情報を正確に制御しながら編集する、マスク保存型属性編集パイプラインを構築する。そのため、編集後の画像に対して元のセグメンテーションラベルを再利用することができる。我々のパイプラインを用いて、オブジェクトと画像の属性（例：色、材質、パターン、スタイル）の両方をカバーするベンチマークを構築する。従来のクローズセットモデルから最近のオープンボキャブラリーモデルまで、様々なセマンティックセグメンテーションモデルを、様々なタイプのバリエーションに対する頑健性について評価する。その結果、局所的な属性変化と大域的な属性変化の両方がセグメンテーション性能に影響を与え、モデルの感度は異なる変動タイプ間で異なることがわかった。我々は、ローカル属性はグローバル属性と同じ重要性を持ち、セグメンテーションモデルの頑健性評価において考慮されるべきであると主張する。コード: https://github.com/PRIS-CV/Pascal-EA.

要約(オリジナル)

When deploying segmentation models in practice, it is critical to evaluate their behaviors in varied and complex scenes. Different from the previous evaluation paradigms only in consideration of global attribute variations (e.g. adverse weather), we investigate both local and global attribute variations for robustness evaluation. To achieve this, we construct a mask-preserved attribute editing pipeline to edit visual attributes of real images with precise control of structural information. Therefore, the original segmentation labels can be reused for the edited images. Using our pipeline, we construct a benchmark covering both object and image attributes (e.g. color, material, pattern, style). We evaluate a broad variety of semantic segmentation models, spanning from conventional close-set models to recent open-vocabulary large models on their robustness to different types of variations. We find that both local and global attribute variations affect segmentation performances, and the sensitivity of models diverges across different variation types. We argue that local attributes have the same importance as global attributes, and should be considered in the robustness evaluation of segmentation models. Code: https://github.com/PRIS-CV/Pascal-EA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL