The Missing Link: Finding label relations across datasets

要約

Computer Visionは、新しい手法の学習や評価に用いることができる多くのデータセットによって駆動されている。しかし、各データセットは、クラスラベルのセット、クラスの視覚的定義、特定の分布に従った画像、アノテーションプロトコルなどが異なっている。本論文では、データセット間のラベル間の視覚的意味関係の自動発見を探求する。あるデータセットにおけるあるクラスのインスタンスが、別のデータセットにおける別のクラスのインスタンスとどのように関連しているかを理解したい。それらは同一性、親/子、オーバーラップの関係にあるのか？それとも、両者の間にはまったくつながりがないのだろうか？データセット間のラベルの関係を発見するために、我々は言語、視覚、そして両者の組み合わせに基づく手法を提案する。我々の手法は、データセット間のラベルの関係や、関係の種類を効率的に発見することができる。我々はこれらの結果を用いて、インスタンスがなぜ関連するのかをより深く調べ、クラスの欠けている側面を見つけ、より細かいアノテーションを作成するために我々の関係を利用する。我々は、ラベル関係は各データセットの構築方法に強く依存するため、クラスの名前だけを見て確立することはできないと結論付けた。

要約(オリジナル)

Computer Vision is driven by the many datasets which can be used for training or evaluating novel methods. However, each dataset has different set of class labels, visual definition of classes, images following a specific distribution, annotation protocols, etc. In this paper we explore the automatic discovery of visual-semantic relations between labels across datasets. We want to understand how the instances of a certain class in a dataset relate to the instances of another class in another dataset. Are they in an identity, parent/child, overlap relation? Or is there no link between them at all? To find relations between labels across datasets, we propose methods based on language, on vision, and on a combination of both. Our methods can effectively discover label relations across datasets and the type of the relations. We use these results for a deeper inspection on why instances relate, find missing aspects of a class, and use our relations to create finer-grained annotations. We conclude that label relations cannot be established by looking at the names of classes alone, as they depend strongly on how each of the datasets was constructed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL