Benchmarking the Robustness of Instance Segmentation Models

要約

本論文では、実世界の画像破損や、領域外の画像コレクション（例えば、学習データセットとは異なるセットアップで撮影された画像）に関して、インスタンス分割モデルの包括的な評価を行う。領域外画像の評価では、実世界での応用に不可欠なモデルの汎化能力を示し、領域適応のトピックとして広く研究されている。このようなロバスト性と汎化性の評価は、実世界のアプリケーションのためにインスタンスセグメンテーションモデルを設計する際や、目の前のタスクに直接使用する既製の事前学習済みモデルを選択する際に重要である。具体的には、このベンチマーク研究では、最新のネットワークアーキテクチャ、ネットワークバックボーン、正規化レイヤー、ゼロから学習したモデルと事前に学習したネットワーク、およびロバスト性と汎化に対するマルチタスク学習の効果が含まれています。この研究により、我々はいくつかの知見を得た。例えば、画像の内容は同じであるが、破損が追加された場合、グループ正規化により破損に対するネットワークのロバスト性が向上することを見出した。一方、バッチ正規化は、画像特徴の統計量が変化する異なるデータセットに対するモデルの汎化性を向上させる。また、シングルステージの検出器は、学習サイズよりも大きな画像解像度に対してうまく汎化できないことが分かる。一方、多段検出器は異なるサイズの画像に対して容易に利用することができる。我々は、この包括的な研究が、より頑健で信頼性の高いインスタンス分割モデルの開発の動機付けになることを期待している。

要約(オリジナル)

This paper presents a comprehensive evaluation of instance segmentation models with respect to real-world image corruptions as well as out-of-domain image collections, e.g. images captured by a different set-up than the training dataset. The out-of-domain image evaluation shows the generalization capability of models, an essential aspect of real-world applications and an extensively studied topic of domain adaptation. These presented robustness and generalization evaluations are important when designing instance segmentation models for real-world applications and picking an off-the-shelf pretrained model to directly use for the task at hand. Specifically, this benchmark study includes state-of-the-art network architectures, network backbones, normalization layers, models trained starting from scratch versus pretrained networks, and the effect of multi-task training on robustness and generalization. Through this study, we gain several insights. For example, we find that group normalization enhances the robustness of networks across corruptions where the image contents stay the same but corruptions are added on top. On the other hand, batch normalization improves the generalization of the models across different datasets where statistics of image features change. We also find that single-stage detectors do not generalize well to larger image resolutions than their training size. On the other hand, multi-stage detectors can easily be used on images of different sizes. We hope that our comprehensive study will motivate the development of more robust and reliable instance segmentation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL