Panoptic Scene Graph Generation with Semantics-Prototype Learning

要約

パノプティック シーン グラフ生成 (PSG) は、オブジェクトを解析し、それらの関係 (述語) を予測して、人間の言語と視覚的なシーンを結び付けます。
ただし、アノテーターの異なる言語設定と述語間の意味の重複により、データセット内で偏った述語アノテーション、つまり同じオブジェクトのペアに対する異なる述語が発生します。
バイアスされた述語アノテーションにより、PSG モデルは述語間で明確な意思決定面を構築するのに苦労し、PSG モデルの実際の適用が大幅に妨げられます。
上記の本質的なバイアスに対処するために、バイアスのある述語アノテーションを有益で統一されたアノテーションに適応的に転送する ADTrans という新しいフレームワークを提案します。
転送プロセス中の一貫性と正確性を保証するために、各述語クラスの表現の不変性を測定し、異なる強度を持つ述語の不偏プロトタイプを学習することを提案します。
その間、私たちは各プレゼンテーションとそのプロトタイプの間の分布の変化を継続的に測定し、潜在的な偏ったデータを常にスクリーニングします。
最後に、バイアスのない述語プロトタイプ表現埋め込み空間を使用すると、バイアスのあるアノテーションが簡単に識別されます。
実験では、ADTrans がベンチマーク モデルのパフォーマンスを大幅に向上させ、新しい最先端のパフォーマンスを達成し、複数のデータセットに対して優れた一般化と有効性を示すことが示されています。

要約(オリジナル)

Panoptic Scene Graph Generation (PSG) parses objects and predicts their relationships (predicate) to connect human language and visual scenes. However, different language preferences of annotators and semantic overlaps between predicates lead to biased predicate annotations in the dataset, i.e. different predicates for same object pairs. Biased predicate annotations make PSG models struggle in constructing a clear decision plane among predicates, which greatly hinders the real application of PSG models. To address the intrinsic bias above, we propose a novel framework named ADTrans to adaptively transfer biased predicate annotations to informative and unified ones. To promise consistency and accuracy during the transfer process, we propose to measure the invariance of representations in each predicate class, and learn unbiased prototypes of predicates with different intensities. Meanwhile, we continuously measure the distribution changes between each presentation and its prototype, and constantly screen potential biased data. Finally, with the unbiased predicate-prototype representation embedding space, biased annotations are easily identified. Experiments show that ADTrans significantly improves the performance of benchmark models, achieving a new state-of-the-art performance, and shows great generalization and effectiveness on multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google