Semantic Enhanced Knowledge Graph for Large-Scale Zero-Shot Learning

要約

ゼロショット学習は、視覚と言語の両方の分野で注目されている研究テーマです。
最近、ほとんどの既存の方法は、構造化された知識情報を採用してカテゴリ間の明示的な相関をモデル化し、深いグラフ畳み込みネットワークを使用して異なるカテゴリ間で情報を伝播します。
しかし、既存の構造化された知識グラフに新しいカテゴリを追加することは困難であり、深いグラフの畳み込みネットワークには過度の平滑化の問題があります。
この論文では、専門家の知識とカテゴリの意味相関の両方を含む新しい意味拡張知識グラフを提供します。
セマンティック拡張ナレッジグラフは、カテゴリ間の相関関係をさらに強化し、新しいカテゴリを吸収しやすくします。
ナレッジ グラフに情報を伝達するために、過度の平滑化の問題を効果的に軽減できる新しい Residual Graph Convolutional Network (ResGCN) を提案します。
広く使用されている大規模な ImageNet-21K データセットと AWA2 データセットで実施された実験は、この方法の有効性を示し、ゼロショット学習に関する新しい最先端技術を確立します。
さらに、さまざまな特徴抽出ネットワークを備えた大規模な ImageNet-21K での結果は、この方法の一般化とロバスト性が優れていることを示しています。

要約(オリジナル)

Zero-Shot Learning has been a highlighted research topic in both vision and language areas. Recently, most existing methods adopt structured knowledge information to model explicit correlations among categories and use deep graph convolutional network to propagate information between different categories. However, it is difficult to add new categories to existing structured knowledge graph, and deep graph convolutional network suffers from over-smoothing problem. In this paper, we provide a new semantic enhanced knowledge graph that contains both expert knowledge and categories semantic correlation. Our semantic enhanced knowledge graph can further enhance the correlations among categories and make it easy to absorb new categories. To propagate information on the knowledge graph, we propose a novel Residual Graph Convolutional Network (ResGCN), which can effectively alleviate the problem of over-smoothing. Experiments conducted on the widely used large-scale ImageNet-21K dataset and AWA2 dataset show the effectiveness of our method, and establish a new state-of-the-art on zero-shot learning. Moreover, our results on the large-scale ImageNet-21K with various feature extraction networks show that our method has better generalization and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google