ScribbleSeg: Scribble-based Interactive Image Segmentation

要約

インタラクティブなセグメンテーションにより、ボックス、クリック、走り書きなどのターゲットを示す簡単な注釈を提供することで、ユーザーはマスクを抽出できます。
これらのインタラクション形式の中で、落書きは任意の形状とサイズにすることができるため、最も柔軟です。
これにより、落書きがターゲット オブジェクトをより多く示すことができます。
ただし、以前の作品は主にクリックベースの構成に焦点を当てており、落書きベースの設定はほとんど検討されていません.
この作業では、フリーハンド ベースの対話型セグメンテーションの標準プロトコルの策定を試みます。
基本的に、トレーニング用の落書きをシミュレートし、評価用の決定論的落書きジェネレーターを提案し、挑戦的なベンチマークを構築するための多様な戦略を設計します。
さらに、このタスクのために、Prototype Adaption Module (PAM) と Corrective Refine Module (CRM) で構成される強力なフレームワーク ScribbleSeg を構築します。
広範な実験により、ScribbleSeg は以前のクリックベースの方法よりも著しく優れたパフォーマンスを発揮することが示されています。
これが、インタラクティブなセグメンテーションのためのより強力で一般的なソリューションとして役立つことを願っています.
私たちのコードが利用可能になります。

要約(オリジナル)

Interactive segmentation enables users to extract masks by providing simple annotations to indicate the target, such as boxes, clicks, or scribbles. Among these interaction formats, scribbles are the most flexible as they can be of arbitrary shapes and sizes. This enables scribbles to provide more indications of the target object. However, previous works mainly focus on click-based configuration, and the scribble-based setting is rarely explored. In this work, we attempt to formulate a standard protocol for scribble-based interactive segmentation. Basically, we design diversified strategies to simulate scribbles for training, propose a deterministic scribble generator for evaluation, and construct a challenging benchmark. Besides, we build a strong framework ScribbleSeg, consisting of a Prototype Adaption Module(PAM) and a Corrective Refine Module (CRM), for the task. Extensive experiments show that ScribbleSeg performs notably better than previous click-based methods. We hope this could serve as a more powerful and general solution for interactive segmentation. Our code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google