Generalized Visual Relation Detection with Diffusion Models

要約

視覚関係検出（VRD）は、画像内のオブジェクトペア間の関係（または相互作用）を特定することを目的としています。
最近のVRDモデルは印象的なパフォーマンスを達成しましたが、それらはすべて事前に定義された関係カテゴリに制限されていますが、視覚関係の意味的な曖昧さを考慮していません。
オブジェクトとは異なり、視覚関係の外観は常に微妙であり、異なる視点からの複数の述語単語によって説明できます。
この目的のために、視覚関係を連続的な埋め込みとしてモデル化し、拡散モデルを設計して、一般化されたVRDを条件付き生成方法で実現することを提案します。
潜在空間で拡散プロセスをモデル化し、埋め込みシーケンスとして画像内のすべての可能な関係を生成します。
世代中に、主題オブジェクトのペアの視覚的およびテキストの埋め込みは条件付き信号として機能し、相互参加を介して注入されます。
世代後、私たちはその後のマッチング段階を設計して、セマンティックな類似性を考慮して、主題とオブジェクトのペアに関係単語を割り当てます。
拡散ベースの生成プロセスの恩恵を受ける当社のDIFF-VRDは、データセットの事前に定義されたカテゴリラベルを超えて視覚関係を生成することができます。
この一般化されたVRDタスクを適切に評価するために、2つの評価メトリック、つまりテキストからイメージの検索、および画像キャプションに触発されたスパイスPRカーブを導入します。
Human-Object Interaction（HOI）検出とシーングラフ生成（SGG）ベンチマークの両方における広範な実験は、diff-vrdの優位性と有効性を証明しています。

要約(オリジナル)

Visual relation detection (VRD) aims to identify relationships (or interactions) between object pairs in an image. Although recent VRD models have achieved impressive performance, they are all restricted to pre-defined relation categories, while failing to consider the semantic ambiguity characteristic of visual relations. Unlike objects, the appearance of visual relations is always subtle and can be described by multiple predicate words from different perspectives, e.g., “ride” can be depicted as “race” and “sit on”, from the sports and spatial position views, respectively. To this end, we propose to model visual relations as continuous embeddings, and design diffusion models to achieve generalized VRD in a conditional generative manner, termed Diff-VRD. We model the diffusion process in a latent space and generate all possible relations in the image as an embedding sequence. During the generation, the visual and text embeddings of subject-object pairs serve as conditional signals and are injected via cross-attention. After the generation, we design a subsequent matching stage to assign the relation words to subject-object pairs by considering their semantic similarities. Benefiting from the diffusion-based generative process, our Diff-VRD is able to generate visual relations beyond the pre-defined category labels of datasets. To properly evaluate this generalized VRD task, we introduce two evaluation metrics, i.e., text-to-image retrieval and SPICE PR Curve inspired by image captioning. Extensive experiments in both human-object interaction (HOI) detection and scene graph generation (SGG) benchmarks attest to the superiority and effectiveness of Diff-VRD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google