A Unified Query-based Paradigm for Camouflaged Instance Segmentation

要約

偽装インスタンスと背景の類似性が高いため、最近提案された偽装インスタンス セグメンテーション (CIS) は、正確な位置特定とインスタンスのセグメンテーションにおいて課題に直面しています。
この目的を達成するために、クエリベースのトランスフォーマーに触発されて、UQFormer と呼ばれる偽装インスタンス セグメンテーション用の統合クエリベース マルチタスク学習フレームワークを提案します。これは、共有の合成クエリを学習するためにマスク クエリのセットと境界クエリのセットを構築します。
カモフラージュされたシナリオでのインスタンスのセグメンテーションとインスタンスの境界検出を同時に行うために、グローバルなカモフラージュされたオブジェクトの領域と境界の手がかりを表現し、効率的に統合します。
具体的には、設計されたマルチスケール統合学習トランスデコーダにおけるマスククエリと境界クエリのクロスアテンション相互作用によって、オブジェクト領域と境界の特徴を捕捉するための共有表現を学習する合成クエリ学習パラダイムを設計します。
次に、学習された合成クエリ表現に基づいて偽装インスタンスのセグメンテーションと偽装インスタンスの境界検出を同時に行うためのトランスフォーマーベースのマルチタスク学習フレームワークを紹介します。これにより、モデルは強力なインスタンス レベルのクエリ表現を学習することも強制されます。
特に、私たちのモデルは、非最大抑制などの後処理を行わずに、インスタンスのセグメンテーションをクエリベースの直接集合予測問題としてみなします。
14 の最先端のアプローチと比較して、当社の UQFormer は偽装インスタンスのセグメンテーションのパフォーマンスを大幅に向上させます。
私たちのコードは https://github.com/dongbo811/UQFormer で入手できます。

要約(オリジナル)

Due to the high similarity between camouflaged instances and the background, the recently proposed camouflaged instance segmentation (CIS) faces challenges in accurate localization and instance segmentation. To this end, inspired by query-based transformers, we propose a unified query-based multi-task learning framework for camouflaged instance segmentation, termed UQFormer, which builds a set of mask queries and a set of boundary queries to learn a shared composed query representation and efficiently integrates global camouflaged object region and boundary cues, for simultaneous instance segmentation and instance boundary detection in camouflaged scenarios. Specifically, we design a composed query learning paradigm that learns a shared representation to capture object region and boundary features by the cross-attention interaction of mask queries and boundary queries in the designed multi-scale unified learning transformer decoder. Then, we present a transformer-based multi-task learning framework for simultaneous camouflaged instance segmentation and camouflaged instance boundary detection based on the learned composed query representation, which also forces the model to learn a strong instance-level query representation. Notably, our model views the instance segmentation as a query-based direct set prediction problem, without other post-processing such as non-maximal suppression. Compared with 14 state-of-the-art approaches, our UQFormer significantly improves the performance of camouflaged instance segmentation. Our code will be available at https://github.com/dongbo811/UQFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google