SG-Shuffle: Multi-aspect Shuffle Transformer for Scene Graph Generation

要約

シーングラフ生成（SGG）は、人間の理解や視覚的理解タスクのために、画像の包括的な表現として機能する。現在の手法では、オブジェクトラベルや述語ラベルのロングテールバイアスの問題により、一般的で情報量の少ない関係性ラベルに偏ったシーングラフが生成される可能性がある。関係は時に、幾何学的関係や意味的関係のように多面的に記述される非相対的なものであることがあり、最も適した関係ラベルを予測することはさらに困難である。本研究では、3つのコンポーネントからなるシーングラフ生成のためのSG-Shuffleパイプラインを提案した。1) Parallel Transformer Encoder：関係ラベルを類似した目的のグループにグループ化することにより、より排他的にオブジェクトの関係を予測することを学習する。2) Shuffle Transformer：前のステップで生成したカテゴリ固有の特徴から最終的な関係ラベルを選択することを学習する。3) Weighted CE Loss：不均衡データセットによる学習バイアスを軽減させるのに使用。

要約(オリジナル)

Scene Graph Generation (SGG) serves a comprehensive representation of the images for human understanding as well as visual understanding tasks. Due to the long tail bias problem of the object and predicate labels in the available annotated data, the scene graph generated from current methodologies can be biased toward common, non-informative relationship labels. Relationship can sometimes be non-mutually exclusive, which can be described from multiple perspectives like geometrical relationships or semantic relationships, making it even more challenging to predict the most suitable relationship label. In this work, we proposed the SG-Shuffle pipeline for scene graph generation with 3 components: 1) Parallel Transformer Encoder, which learns to predict object relationships in a more exclusive manner by grouping relationship labels into groups of similar purpose; 2) Shuffle Transformer, which learns to select the final relationship labels from the category-specific feature generated in the previous step; and 3) Weighted CE loss, used to alleviate the training bias caused by the imbalanced dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL