OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers

要約

カモフラージュ インスタンス セグメンテーション (CIS) 向けの最初の 1 段階トランスフォーマー フレームワークである OSFormer を紹介します。
OSFormer は 2 つの主要な設計に基づいています。
まず、ロケーション ガイド付きクエリとブレンド畳み込みフィードフォワード ネットワークを導入することで、ロケーション ラベルとインスタンス対応パラメーターを取得するロケーション センシング トランスフォーマー (LST) を設計します。
次に、LST エンコーダーと CNN バックボーンからの多様なコンテキスト情報をマージするために、粗密融合 (CFF) を開発します。
これら 2 つのコンポーネントを結合することで、OSFormer は局所的な特徴と長期的なコンテキストの依存関係を効率的にブレンドして、カモフラージュされたインスタンスを予測できます。
2 段階のフレームワークと比較して、OSFormer は 41% の AP に達し、膨大なトレーニング データを必要とせずに優れた収束効率を達成します。つまり、60 エポックでわずか 3,040 サンプルです。
コード リンク: https://github.com/PJLallen/OSFormer。

要約(オリジナル)

We present OSFormer, the first one-stage transformer framework for camouflaged instance segmentation (CIS). OSFormer is based on two key designs. First, we design a location-sensing transformer (LST) to obtain the location label and instance-aware parameters by introducing the location-guided queries and the blend-convolution feedforward network. Second, we develop a coarse-to-fine fusion (CFF) to merge diverse context information from the LST encoder and CNN backbone. Coupling these two components enables OSFormer to efficiently blend local features and long-range context dependencies for predicting camouflaged instances. Compared with two-stage frameworks, our OSFormer reaches 41% AP and achieves good convergence efficiency without requiring enormous training data, i.e., only 3,040 samples under 60 epochs. Code link: https://github.com/PJLallen/OSFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google