Detecting Objects with Graph Priors and Graph Refinement

要約

この論文の目標は、オブジェクトの相互関係を利用してオブジェクトを検出することです。
事前に定義されラベル付けされたグラフ構造に依存するのではなく、オブジェクトの共起統計から事前にグラフを推測します。
私たちの論文の重要なアイデアは、オブジェクトの関係を初期クラス予測と共起事前確率の関数としてモデル化し、分類と境界ボックス回帰を改善するために画像のグラフ表現を生成することです。
さらに、エネルギーベースのモデリングを通じてオブジェクトと関係の結合分布を学習します。
この分布からサンプリングすると、画像の洗練されたグラフ表現が生成され、検出パフォーマンスが向上します。
Visual Genome および MS-COCO データセットの実験では、私たちの方法が検出器に依存せず、エンドツーエンドでトレーニング可能であり、特に希少なオブジェクト クラスに対して有益であることが実証されています。
さらに、DETR や Faster-RCNN などのオブジェクト検出器に対する一貫した改善と、オブジェクトの相互関係をモデル化する最先端の手法を確立します。

要約(オリジナル)

The goal of this paper is to detect objects by exploiting their interrelationships. Rather than relying on predefined and labeled graph structures, we infer a graph prior from object co-occurrence statistics. The key idea of our paper is to model object relations as a function of initial class predictions and co-occurrence priors to generate a graph representation of an image for improved classification and bounding box regression. We additionally learn the object-relation joint distribution via energy based modeling. Sampling from this distribution generates a refined graph representation of the image which in turn produces improved detection performance. Experiments on the Visual Genome and MS-COCO datasets demonstrate our method is detector agnostic, end-to-end trainable, and especially beneficial for rare object classes. What is more, we establish a consistent improvement over object detectors like DETR and Faster-RCNN, as well as state-of-the-art methods modeling object interrelationships.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google