Relational Proxies: Emergent Relationships as Fine-Grained Discriminators

要約

しかし、局所的な部品と全体的な構造との関係が異なるため、部品情報のみでは識別が困難である。我々は、オブジェクトのグローバルビューとローカルビューの間の関係情報を利用して、その意味的ラベルを符号化する新しいアプローチである関係プロキシを提案する。本論文では、細粒度のカテゴリー間の区別可能性の概念を厳密に定式化することから始め、細粒度の設定において決定境界を学習するために、モデルが満たすべき必要条件と十分条件を証明する。我々は、理論的知見に基づいてRelational Proxiesを設計し、7つの困難な細粒度のベンチマークデータセットで評価し、全てのデータセットにおいて、場合によっては4%を超えるマージンで全ての既存作品の性能を上回る、最先端の結果を達成することができる。また、きめ細かな識別性に関する理論を実験的に検証し、複数のベンチマークで一貫した結果を得ることができた。実装は https://github.com/abhrac/relational-proxies で公開されている。

要約(オリジナル)

Fine-grained categories that largely share the same set of parts cannot be discriminated based on part information alone, as they mostly differ in the way the local parts relate to the overall global structure of the object. We propose Relational Proxies, a novel approach that leverages the relational information between the global and local views of an object for encoding its semantic label. Starting with a rigorous formalization of the notion of distinguishability between fine-grained categories, we prove the necessary and sufficient conditions that a model must satisfy in order to learn the underlying decision boundaries in the fine-grained setting. We design Relational Proxies based on our theoretical findings and evaluate it on seven challenging fine-grained benchmark datasets and achieve state-of-the-art results on all of them, surpassing the performance of all existing works with a margin exceeding 4% in some cases. We also experimentally validate our theory on fine-grained distinguishability and obtain consistent results across multiple benchmarks. Implementation is available at https://github.com/abhrac/relational-proxies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL