Unbiased Scene Graph Generation by Type-Aware Message Passing on Heterogeneous and Dual Graphs

要約

不偏シーン グラフ生成の研究は大きく進歩しましたが、ヘッド クラスとテール クラスの両方の予測パフォーマンスの向上を妨げる問題がまだあります。
これらの問題に対処するために、不偏シーン グラフ生成 (TA-HDG) が提案されています。
インタラクティブな関係と非インタラクティブな関係をモデル化するために、複数のオブジェクト間の関係をモデル化するときに、異種グラフとデュアル グラフを組み合わせることによってオブジェクトへの関係の依存性をモデル化するインタラクティブ グラフ構築が提案されています。
また、無意味なエッジを減らすためのサブジェクトとオブジェクトのペア選択戦略も実装します。
さらに、タイプ認識メッセージ パッシングは、タイプ内およびタイプ間ステージでタイプ内およびタイプ間のコンテキストをキャプチャすることにより、複雑な相互作用の理解を強化します。
Intra-Type ステージは、相互関係およびオブジェクト間のセマンティック コンテキストをキャプチャします。
これに基づいて、Inter-Type ステージは、オブジェクト間のコンテキストと、インタラクティブな関係と非インタラクティブな関係の関係をそれぞれキャプチャします。
2 つのデータセットの実験では、TA-HDG が R@K と mR@K のメトリックの改善を達成していることが示されており、TA-HDG がヘッド クラスの競争力のあるパフォーマンスを維持しながらテール クラスを正確に予測できることが証明されています。

要約(オリジナル)

Although great progress has been made in the research of unbiased scene graph generation, issues still hinder improving the predictive performance of both head and tail classes. An unbiased scene graph generation (TA-HDG) is proposed to address these issues. For modeling interactive and non-interactive relations, the Interactive Graph Construction is proposed to model the dependence of relations on objects by combining heterogeneous and dual graph, when modeling relations between multiple objects. It also implements a subject-object pair selection strategy to reduce meaningless edges. Moreover, the Type-Aware Message Passing enhances the understanding of complex interactions by capturing intra- and inter-type context in the Intra-Type and Inter-Type stages. The Intra-Type stage captures the semantic context of inter-relaitons and inter-objects. On this basis, the Inter-Type stage captures the context between objects and relations for interactive and non-interactive relations, respectively. Experiments on two datasets show that TA-HDG achieves improvements in the metrics of R@K and mR@K, which proves that TA-HDG can accurately predict the tail class while maintaining the competitive performance of the head class.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google