Haystack: A Panoptic Scene Graph Dataset to Evaluate Rare Predicate Classes

要約

現在のシーン グラフ データセットは、述語クラスの強力なロングテール分布の影響を受けています。
テスト セット内の一部の述語クラスの数が非常に少ないため、最もまれなクラスについては信頼できるメトリックを取得できません。
新しいパノプティック シーン グラフ データセットと、特にまれな述語クラスでの予測パフォーマンスのベンチマークとして設計されたメトリクスのセットを構築します。
新しいデータセットを構築するために、干し草の山の中の針のように、大規模な画像セットに隠されているまれな述語クラスを効率的に見つけるモデル支援アノテーション パイプラインを提案します。
以前のシーン グラフ データセットとは異なり、ヘイスタックには明示的な否定的な注釈、つまり、特定の関係が特定の述語クラスを持たないという注釈が含まれています。
ネガティブ アノテーションは、特にシーン グラフ生成の分野で役立ち、現在のシーン グラフ生成モデルを改善するためのまったく新しい可能性を開きます。
Haystack は既存のパノラマ シーン グラフ データセットと 100% 互換性があり、既存の評価パイプラインと簡単に統合できます。
私たちのデータセットとコードは、https://lorjul.github.io/haystack/ にあります。
これには、データセットを既存の作業に統合するのに役立つ、アノテーション ファイルと使いやすいスクリプトとユーティリティが含まれています。

要約(オリジナル)

Current scene graph datasets suffer from strong long-tail distributions of their predicate classes. Due to a very low number of some predicate classes in the test sets, no reliable metrics can be retrieved for the rarest classes. We construct a new panoptic scene graph dataset and a set of metrics that are designed as a benchmark for the predictive performance especially on rare predicate classes. To construct the new dataset, we propose a model-assisted annotation pipeline that efficiently finds rare predicate classes that are hidden in a large set of images like needles in a haystack. Contrary to prior scene graph datasets, Haystack contains explicit negative annotations, i.e. annotations that a given relation does not have a certain predicate class. Negative annotations are helpful especially in the field of scene graph generation and open up a whole new set of possibilities to improve current scene graph generation models. Haystack is 100% compatible with existing panoptic scene graph datasets and can easily be integrated with existing evaluation pipelines. Our dataset and code can be found here: https://lorjul.github.io/haystack/. It includes annotation files and simple to use scripts and utilities, to help with integrating our dataset in existing work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google