GraCo: Granularity-Controllable Interactive Segmentation

要約

インタラクティブ セグメンテーション (IS) は、ユーザー入力に従って画像内の特定のオブジェクトまたは部分をセグメント化します。
現在の IS パイプラインは、単一粒度出力と複数粒度出力の 2 つのカテゴリに分類されます。
後者は、前者に存在する空間的な曖昧さを軽減することを目的としています。
ただし、多粒度の出力パイプラインでは対話の柔軟性が制限され、冗長な結果が生成されます。
この研究では、入力に追加パラメーターを導入することで予測の粒度を正確に制御できる新しいアプローチである、粒度制御可能なインタラクティブ セグメンテーション (GraCo) を紹介します。
これにより、対話型システムのカスタマイズが強化され、曖昧さを解決しながら冗長性が排除されます。
それにもかかわらず、多粒度マスクにアノテーションを付けるには法外なコストがかかることと、粒度アノテーションを備えた利用可能なデータセットが不足しているため、モデルが出力粒度を制御するために必要なガイダンスを取得することが困難になります。
この問題に対処するために、事前トレーニングされた IS モデルのセマンティック プロパティを利用して、追加の手動アノテーションを必要とせずに豊富なマスクと粒度のペアを自動的に生成する任意粒度マスク ジェネレーターを設計します。
これらのペアに基づいて、IS モデルに粒度制御性を効率的に与える粒度制御可能な学習戦略を提案します。
オブジェクトおよび部品レベルでの複雑なシナリオに関する広範な実験により、当社の GraCo には以前の方法に比べて大きな利点があることが実証されました。
これは、多様なセグメンテーション シナリオに適応できる柔軟な注釈ツールとしての GraCo の可能性を強調しています。
プロジェクトページ: https://zhao-yian.github.io/GraCo。

要約(オリジナル)

Interactive Segmentation (IS) segments specific objects or parts in the image according to user input. Current IS pipelines fall into two categories: single-granularity output and multi-granularity output. The latter aims to alleviate the spatial ambiguity present in the former. However, the multi-granularity output pipeline suffers from limited interaction flexibility and produces redundant results. In this work, we introduce Granularity-Controllable Interactive Segmentation (GraCo), a novel approach that allows precise control of prediction granularity by introducing additional parameters to input. This enhances the customization of the interactive system and eliminates redundancy while resolving ambiguity. Nevertheless, the exorbitant cost of annotating multi-granularity masks and the lack of available datasets with granularity annotations make it difficult for models to acquire the necessary guidance to control output granularity. To address this problem, we design an any-granularity mask generator that exploits the semantic property of the pre-trained IS model to automatically generate abundant mask-granularity pairs without requiring additional manual annotation. Based on these pairs, we propose a granularity-controllable learning strategy that efficiently imparts the granularity controllability to the IS model. Extensive experiments on intricate scenarios at object and part levels demonstrate that our GraCo has significant advantages over previous methods. This highlights the potential of GraCo to be a flexible annotation tool, capable of adapting to diverse segmentation scenarios. The project page: https://zhao-yian.github.io/GraCo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google