Hierarchical Open-vocabulary Universal Image Segmentation

要約

オープンボキャブラリー画像セグメンテーションは、任意のテキスト記述に従って画像を意味領域に分割することを目的としています。
ただし、複雑なビジュアル シーンは自然に単純な部分に分解され、複数レベルの粒度で抽象化されるため、固有のセグメンテーションの曖昧さが生じます。
通常、この曖昧さを回避して外部要因として扱う既存の方法とは異なり、私たちのアプローチは、さまざまな意味レベルを含む階層表現を学習プロセスに積極的に組み込みます。
我々は、「物」と「もの」の両方に対する、分離されたテキストと画像の融合メカニズムと表現学習モジュールを提案します。
さらに、これらのタイプのカテゴリ間のテキストおよび視覚的特徴に存在する違いを体系的に調査します。
HIPIE と名付けられた私たちの結果のモデルは、統一されたフレームワーク内で階層的、オープン語彙、および普遍的なセグメンテーション タスクに取り組みます。
ADE20K、COCO、Pascal-VOC Part、RefCOCO/RefCOCOg、ODinW、SeginW などの 40 を超えるデータセットでベンチマークを行った HIPIE は、意味レベル (例:
セマンティック セグメンテーション）、インスタンス レベル（パノプティック/リファリング セグメンテーションおよびオブジェクト検出など）、およびパーツ レベル（パーツ/サブパーツ セグメンテーションなど）タスク。
私たちのコードは https://github.com/berkeley-hipie/HIPIE でリリースされています。

要約(オリジナル)

Open-vocabulary image segmentation aims to partition an image into semantic regions according to arbitrary text descriptions. However, complex visual scenes can be naturally decomposed into simpler parts and abstracted at multiple levels of granularity, introducing inherent segmentation ambiguity. Unlike existing methods that typically sidestep this ambiguity and treat it as an external factor, our approach actively incorporates a hierarchical representation encompassing different semantic-levels into the learning process. We propose a decoupled text-image fusion mechanism and representation learning modules for both ‘things’ and ‘stuff’. Additionally, we systematically examine the differences that exist in the textual and visual features between these types of categories. Our resulting model, named HIPIE, tackles HIerarchical, oPen-vocabulary, and unIvErsal segmentation tasks within a unified framework. Benchmarked on over 40 datasets, e.g., ADE20K, COCO, Pascal-VOC Part, RefCOCO/RefCOCOg, ODinW and SeginW, HIPIE achieves the state-of-the-art results at various levels of image comprehension, including semantic-level (e.g., semantic segmentation), instance-level (e.g., panoptic/referring segmentation and object detection), as well as part-level (e.g., part/subpart segmentation) tasks. Our code is released at https://github.com/berkeley-hipie/HIPIE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google