Scene Graph Generation: A Comprehensive Survey

要約

ディープラーニング技術は、一般的なオブジェクト検出の分野で目覚ましい進歩をもたらし、近年、多くのシーン理解タスクを生み出しました。
シーングラフは、その強力なセマンティック表現とシーン理解への応用のために研究の焦点となっています。
シーングラフ生成（SGG）は、画像をセマンティック構造のシーングラフに自動的にマッピングするタスクを指します。これには、検出されたオブジェクトとそれらの関係の正しいラベル付けが必要です。
これはやりがいのある作業ですが、コミュニティは多くのSGGアプローチを提案し、良い結果を達成しています。
この論文では、深層学習技術によってもたらされたこの分野の最近の成果の包括的な調査を提供します。
さまざまな入力モダリティをカバーする138の代表的な作品をレビューし、特徴抽出と融合の観点から画像ベースのSGGの既存の方法を体系的に要約します。
SGGのメカニズムと戦略を包括的に要約し、解釈するために、既存の視覚的関係の検出方法を接続して体系化することを試みます。
最後に、現在の既存の問題と将来の研究の方向性についての深い議論でこの調査を終了します。
この調査は、読者が現在の研究状況とアイデアをよりよく理解するのに役立ちます。

要約(オリジナル)

Deep learning techniques have led to remarkable breakthroughs in the field of generic object detection and have spawned a lot of scene-understanding tasks in recent years. Scene graph has been the focus of research because of its powerful semantic representation and applications to scene understanding. Scene Graph Generation (SGG) refers to the task of automatically mapping an image into a semantic structural scene graph, which requires the correct labeling of detected objects and their relationships. Although this is a challenging task, the community has proposed a lot of SGG approaches and achieved good results. In this paper, we provide a comprehensive survey of recent achievements in this field brought about by deep learning techniques. We review 138 representative works that cover different input modalities, and systematically summarize existing methods of image-based SGG from the perspective of feature extraction and fusion. We attempt to connect and systematize the existing visual relationship detection methods, to summarize, and interpret the mechanisms and the strategies of SGG in a comprehensive way. Finally, we finish this survey with deep discussions about current existing problems and future research directions. This survey will help readers to develop a better understanding of the current research status and ideas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google