Label-efficient Segmentation via Affinity Propagation

要約

ラベル効率の良いスパースアノテーションを使用した弱教師セグメンテーションは、労力のかかるピクセル単位のラベル付けプロセスのコストを削減するために研究の注目を集めていますが、このタスクではペアワイズアフィニティモデリング技術が重要な役割を果たしています。
既存のアプローチのほとんどは、ローカル アピアランス カーネルを使用して隣接するペアごとのポテンシャルをモデル化することに焦点を当てています。
ただし、このようなローカル操作では、長距離の依存関係を取得できず、オブジェクトのトポロジが無視されます。
この研究では、親和性モデリングを親和性伝播プロセスとして定式化し、正確なソフト擬似ラベルを生成するためにローカルおよびグローバルのペアワイズ親和性項を提案します。
計算コストを大幅に削減するための効率的なアルゴリズムも開発されています。
提案されたアプローチは、既存のセグメンテーション ネットワークに簡単に組み込むことができます。
3 つの典型的なラベル効率の高いセグメンテーション タスク、つまりボックス教師ありインスタンス セグメンテーション、ポイント/落書き教師ありセマンティック セグメンテーション、CLIP ガイド付きセマンティック セグメンテーションに関する実験では、提案されたアプローチの優れたパフォーマンスが実証されています。

要約(オリジナル)

Weakly-supervised segmentation with label-efficient sparse annotations has attracted increasing research attention to reduce the cost of laborious pixel-wise labeling process, while the pairwise affinity modeling techniques play an essential role in this task. Most of the existing approaches focus on using the local appearance kernel to model the neighboring pairwise potentials. However, such a local operation fails to capture the long-range dependencies and ignores the topology of objects. In this work, we formulate the affinity modeling as an affinity propagation process, and propose a local and a global pairwise affinity terms to generate accurate soft pseudo labels. An efficient algorithm is also developed to reduce significantly the computational cost. The proposed approach can be conveniently plugged into existing segmentation networks. Experiments on three typical label-efficient segmentation tasks, i.e. box-supervised instance segmentation, point/scribble-supervised semantic segmentation and CLIP-guided semantic segmentation, demonstrate the superior performance of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google