Relational Prior Knowledge Graphs for Detection and Instance Segmentation

要約

人間は、物体間の関係を理解することで、周囲の世界を認識し推論する驚くべき能力を持っています。
この論文では、オブジェクトの検出とインスタンスのセグメンテーションにそのような関係を使用することの有効性を調査します。
この目的を達成するために、我々は、リレーショナル事前確率を使用してオブジェクト提案機能を強化するグラフ変換器であるリレーショナル事前ベースの機能強化モデル (RP-FEM) を提案します。
提案されたアーキテクチャは、初期提案から得られたシーン グラフ上で動作し、オブジェクト検出とインスタンス セグメンテーションのためのリレーショナル コンテキスト モデリングを同時に学習することを目的としています。
COCO の実験による評価では、関係事前分布で強化されたシーン グラフの利用により、オブジェクトの検出とインスタンスのセグメンテーションに利点がもたらされることが示されています。
RP-FEM は、画像内でありそうもないクラス予測を抑制すると同時に、モデルが重複した予測を生成するのを防ぎ、その構築の基礎となるベースライン モデルの改善につながる能力を実証します。

要約(オリジナル)

Humans have a remarkable ability to perceive and reason about the world around them by understanding the relationships between objects. In this paper, we investigate the effectiveness of using such relationships for object detection and instance segmentation. To this end, we propose a Relational Prior-based Feature Enhancement Model (RP-FEM), a graph transformer that enhances object proposal features using relational priors. The proposed architecture operates on top of scene graphs obtained from initial proposals and aims to concurrently learn relational context modeling for object detection and instance segmentation. Experimental evaluations on COCO show that the utilization of scene graphs, augmented with relational priors, offer benefits for object detection and instance segmentation. RP-FEM demonstrates its capacity to suppress improbable class predictions within the image while also preventing the model from generating duplicate predictions, leading to improvements over the baseline model on which it is built.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google