Hierarchical Relationships: A New Perspective to Enhance Scene Graph Generation

要約

この論文では、関係性とオブジェクトのラベル間の階層構造を活用すると、シーン グラフ生成システムのパフォーマンスを大幅に向上できるという発見を示します。
この作業の焦点は、オブジェクトと関係のカテゴリを体系的な方法で独立したスーパー カテゴリに分割できる有益な階層構造を作成することです。
具体的には、オブジェクト インスタンスのペア間の関係のスーパー カテゴリと、そのスーパー カテゴリ内の詳細な関係を同時に予測するベイジアン予測ヘッドを導入し、より有益な予測を容易にします。
結果として得られるモデルは、データセットのアノテーションを超えたより広範な述語セットを生成し、アノテーションの品質が低いという一般的な問題に取り組む機能を示します。
私たちの論文は予備的な結果を示していますが、Visual Genome データセットの実験では、特に述語分類とゼロショット設定においてその強力なパフォーマンスが示されており、これは私たちのアプローチの有望性を示しています。

要約(オリジナル)

This paper presents a finding that leveraging the hierarchical structures among labels for relationships and objects can substantially improve the performance of scene graph generation systems. The focus of this work is to create an informative hierarchical structure that can divide object and relationship categories into disjoint super-categories in a systematic way. Specifically, we introduce a Bayesian prediction head to jointly predict the super-category of relationships between a pair of object instances, as well as the detailed relationship within that super-category simultaneously, facilitating more informative predictions. The resulting model exhibits the capability to produce a more extensive set of predicates beyond the dataset annotations, and to tackle the prevalent issue of low annotation quality. While our paper presents preliminary findings, experiments on the Visual Genome dataset show its strong performance, particularly in predicate classifications and zero-shot settings, that demonstrates the promise of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google