PartImageNet++ Dataset: Scaling up Part-based Models for Robust Recognition

要約

深層学習ベースの物体認識システムは、さまざまな敵対的な摂動によって簡単にだまされてしまう可能性があります。
堅牢性が弱い理由の 1 つは、人間の認識プロセスのような部分ベースの帰納的バイアスがないことである可能性があります。
これを動機として、敵対的な認識の堅牢性を向上させるために、いくつかの部分ベースの認識モデルが提案されています。
ただし、パーツ アノテーションがないため、これらの方法の有効性は小規模な非標準データセットでのみ検証されます。
この研究では、ImageNet-1K (IN-1K) のすべてのカテゴリに高品質のパーツ セグメンテーション アノテーションを提供するデータセットである PIN++ (PartImageNet++ の略) を提案します。
これらのアノテーションを使用して、標準の IN-1K データセットに直接パーツベースのメソッドを構築し、堅牢な認識を実現します。
これまでの 2 段階のパーツベース モデルとは異なり、パーツ アノテーションを使用した堅牢な表現を学習するために、マルチスケールパーツ教師ありモデル (MPM) を提案します。
実験の結果、MPM は、さまざまな攻撃設定にわたって強力なベースラインを超えて、大規模な IN-1K 上でより優れた敵対的堅牢性をもたらしたことが示されています。
さらに、MPM は、一般的な破損やいくつかの配布外のデータセットに対する堅牢性の向上を実現しました。
このデータセットとこれらの結果は、研究者がより実際のアプリケーションで部品ベースのモデルの可能性を探ることを可能にし、奨励します。

要約(オリジナル)

Deep learning-based object recognition systems can be easily fooled by various adversarial perturbations. One reason for the weak robustness may be that they do not have part-based inductive bias like the human recognition process. Motivated by this, several part-based recognition models have been proposed to improve the adversarial robustness of recognition. However, due to the lack of part annotations, the effectiveness of these methods is only validated on small-scale nonstandard datasets. In this work, we propose PIN++, short for PartImageNet++, a dataset providing high-quality part segmentation annotations for all categories of ImageNet-1K (IN-1K). With these annotations, we build part-based methods directly on the standard IN-1K dataset for robust recognition. Different from previous two-stage part-based models, we propose a Multi-scale Part-supervised Model (MPM), to learn a robust representation with part annotations. Experiments show that MPM yielded better adversarial robustness on the large-scale IN-1K over strong baselines across various attack settings. Furthermore, MPM achieved improved robustness on common corruptions and several out-of-distribution datasets. The dataset, together with these results, enables and encourages researchers to explore the potential of part-based models in more real applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google