Multi-label Image Classification using Adaptive Graph Convolutional Networks: from a Single Domain to Multiple Domains

要約

この論文では、マルチラベル画像分類のための適応グラフベースのアプローチを提案します。
グラフベースの手法は、ラベルの相関関係をモデル化できるため、マルチラベル分類の分野で主に活用されています。
具体的には、単一のドメインを考慮した場合だけでなく、複数のドメインを考慮した場合でもその有効性が証明されています。
ただし、使用されるグラフのトポロジはヒューリスティックに事前定義されているため、最適ではありません。
さらに、連続したグラフ畳み込みネットワーク (GCN) 集約により、機能の類似性が破壊される傾向があります。
これらの問題を克服するために、グラフの接続性をエンドツーエンドの方法で学習するためのアーキテクチャが導入されています。
これは、注意ベースのメカニズムと類似性を維持する戦略を統合することによって行われます。
提案されたフレームワークは、敵対的トレーニング スキームを使用して複数のドメインに拡張されます。
よく知られたシングルドメインおよびマルチドメインのベンチマークに関する多数の実験が報告されています。
この結果は、当社のアプローチが、平均平均精度 (mAP) とモデル サイズの点で、最先端のアプローチと比較して競争力のある結果を達成していることを示しています。
コードは公開されます。

要約(オリジナル)

This paper proposes an adaptive graph-based approach for multi-label image classification. Graph-based methods have been largely exploited in the field of multi-label classification, given their ability to model label correlations. Specifically, their effectiveness has been proven not only when considering a single domain but also when taking into account multiple domains. However, the topology of the used graph is not optimal as it is pre-defined heuristically. In addition, consecutive Graph Convolutional Network (GCN) aggregations tend to destroy the feature similarity. To overcome these issues, an architecture for learning the graph connectivity in an end-to-end fashion is introduced. This is done by integrating an attention-based mechanism and a similarity-preserving strategy. The proposed framework is then extended to multiple domains using an adversarial training scheme. Numerous experiments are reported on well-known single-domain and multi-domain benchmarks. The results demonstrate that our approach achieves competitive results in terms of mean Average Precision (mAP) and model size as compared to the state-of-the-art. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google