Cross-aware Early Fusion with Stage-divided Vision and Language Transformer Encoders for Referring Image Segmentation

要約

参照セグメンテーションは、自然言語表現に関連するターゲット オブジェクトをセグメント化することを目的としています。
このタスクの主な課題は、複雑で曖昧な言語表現の意味を理解し、その表現を参照して複数のオブジェクトを含む画像内の関連領域を特定することです。
最近のモデルでは、ビジョンエンコーダの中間段階で言語機能との早期融合を重視していますが、これらのアプローチでは言語機能が視覚情報を参照できないという限界があります。
この問題に対処するために、この論文では、段階分割ビジョンおよび言語変換エンコーダとのクロス認識早期融合 (CrossVLT) という新しいアーキテクチャを提案します。
モーダルコンテキストモデリング。
以前の方法とは異なり、私たちの方法では、視覚機能と言語機能が各段階で互いの情報を参照し、両方のエンコーダーの堅牢性を相互に強化できます。
さらに、クロスモーダルアライメントの高レベル機能のみに依存する従来のスキームとは異なり、ビジョンおよび言語エンコーダーの低レベルから高レベルの機能が関与できるようにする機能ベースのアライメントスキームを導入します。
クロスモーダルアライメント。
すべてのエンコーダ段階で中間のクロスモーダル機能を調整することにより、このスキームは効果的なクロスモーダル融合につながります。
このように、提案されたアプローチはシンプルですが画像セグメンテーションを参照するのに効果的であり、3 つの公開ベンチマークで以前の最先端の方法よりも優れています。

要約(オリジナル)

Referring segmentation aims to segment a target object related to a natural language expression. Key challenges of this task are understanding the meaning of complex and ambiguous language expressions and determining the relevant regions in the image with multiple objects by referring to the expression. Recent models have focused on the early fusion with the language features at the intermediate stage of the vision encoder, but these approaches have a limitation that the language features cannot refer to the visual information. To address this issue, this paper proposes a novel architecture, Cross-aware early fusion with stage-divided Vision and Language Transformer encoders (CrossVLT), which allows both language and vision encoders to perform the early fusion for improving the ability of the cross-modal context modeling. Unlike previous methods, our method enables the vision and language features to refer to each other’s information at each stage to mutually enhance the robustness of both encoders. Furthermore, unlike the conventional scheme that relies solely on the high-level features for the cross-modal alignment, we introduce a feature-based alignment scheme that enables the low-level to high-level features of the vision and language encoders to engage in the cross-modal alignment. By aligning the intermediate cross-modal features in all encoder stages, this scheme leads to effective cross-modal fusion. In this way, the proposed approach is simple but effective for referring image segmentation, and it outperforms the previous state-of-the-art methods on three public benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google