PDiscoNet: Semantically consistent part discovery for fine-grained recognition

要約

きめの細かい分類では、多くの場合、鳥のくちばしの形状や翼のパターンなど、特定のオブジェクトの部分を認識する必要があります。
最初にそのような部分を検出し、次にそれらの部分を使用してクラスを推論するように詳細な分類モデルを奨励すると、単一の属性マップを提供する解釈可能性メソッドを使用するよりも、モデルが実際に正しい詳細を参照しているかどうかを評価するのに役立ちます。
我々は、画像レベルのクラスラベルのみを使用し、パーツが識別可能で、コンパクトで、互いに区別され、剛体変換と等変で、少なくとも一部の画像でアクティブであることを促す事前分布を使用して、オブジェクトパーツを検出する PDiscoNet を提案します。
これらの事前分布をエンコードするために適切な損失を使用することに加えて、分類において単一の部分が優勢になるのを防ぐために完全な部分の特徴ベクトルが一度にドロップされる部分ドロップアウトと、情報を生成する部分の特徴ベクトル変調を使用することを提案します。
分類器の観点からは異なる各部分から来ています。
CUB、CelebA、および PartImageNet での結果は、提案された方法が、追加のハイパーパラメータ調整を必要とせず、分類パフォーマンスを低下させることなく、以前の方法よりも大幅に優れたパーツ検出パフォーマンスを提供することを示しています。
コードは https://github.com/robertdvdk/part_detection で入手できます。

要約(オリジナル)

Fine-grained classification often requires recognizing specific object parts, such as beak shape and wing patterns for birds. Encouraging a fine-grained classification model to first detect such parts and then using them to infer the class could help us gauge whether the model is indeed looking at the right details better than with interpretability methods that provide a single attribution map. We propose PDiscoNet to discover object parts by using only image-level class labels along with priors encouraging the parts to be: discriminative, compact, distinct from each other, equivariant to rigid transforms, and active in at least some of the images. In addition to using the appropriate losses to encode these priors, we propose to use part-dropout, where full part feature vectors are dropped at once to prevent a single part from dominating in the classification, and part feature vector modulation, which makes the information coming from each part distinct from the perspective of the classifier. Our results on CUB, CelebA, and PartImageNet show that the proposed method provides substantially better part discovery performance than previous methods while not requiring any additional hyper-parameter tuning and without penalizing the classification performance. The code is available at https://github.com/robertdvdk/part_detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google