ViRel: Unsupervised Visual Relations Discovery with Graph-level Analogy

要約

視覚的関係とは、視覚的オブジェクト間の関係がシーンの重要な情報を捉えることから、私たちの構成世界を理解するための基礎となるものである。そのため、あらかじめ定義されたラベルを用いた学習では全ての関係を捉えることができないため、データから自動的に関係を学習することが有利である。しかし、現在の関係学習手法は一般に監視が必要であり、学習時に見られる関係構造よりも複雑な関係構造を持つシーンへの汎化を想定していない。本論文では、グラフレベルのアナロジーを用いた教師無し視覚関係学習法であるViRelを紹介する。タスク内のシーンが同じ関係部分グラフ構造を共有する設定において、同型グラフと非同型グラフを対比させる我々の学習方法は、教師無しでタスク間の関係を発見することができる。一旦関係性が学習されると、ViRelは予測された関係構造を解析することにより、各タスクで共有されている関係グラフ構造を取得することができる。grid-worldとAbstract Reasoning Corpusに基づくデータセットを用いて、我々の手法が関係分類において95%以上の精度を達成し、ほとんどのタスクに対して関係グラフ構造を発見し、さらに複雑な関係構造を持つ未見のタスクに対して一般化できることを示す。

要約(オリジナル)

Visual relations form the basis of understanding our compositional world, as relationships between visual objects capture key information in a scene. It is then advantageous to learn relations automatically from the data, as learning with predefined labels cannot capture all possible relations. However, current relation learning methods typically require supervision, and are not designed to generalize to scenes with more complicated relational structures than those seen during training. Here, we introduce ViRel, a method for unsupervised discovery and learning of Visual Relations with graph-level analogy. In a setting where scenes within a task share the same underlying relational subgraph structure, our learning method of contrasting isomorphic and non-isomorphic graphs discovers the relations across tasks in an unsupervised manner. Once the relations are learned, ViRel can then retrieve the shared relational graph structure for each task by parsing the predicted relational structure. Using a dataset based on grid-world and the Abstract Reasoning Corpus, we show that our method achieves above 95% accuracy in relation classification, discovers the relation graph structure for most tasks, and further generalizes to unseen tasks with more complicated relational structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL