CLUSTSEG: Clustering for Universal Segmentation

要約

我々は、統合されたニューラル クラスタリング スキームを通じてさまざまな画像セグメンテーション タスク (つまり、スーパーピクセル、セマンティック、インスタンス、パノプティック) に取り組む、一般的なトランスフォーマー ベースのフレームワークである CLUSTSEG を紹介します。
クラスター センターとしてのクエリに関して、CLUSTSEG は次の 2 つの点で革新的です。1) クラスター センターは、アーキテクチャを変更することなく、タスク固有の要求 (インスタンス レベルまたはカテゴリ レベルの区別性など) に的確に対応するために、異種混合の方法で初期化されます。
2) クロスアテンション方式で形式化されたピクセルとクラスターの割り当ては、クラスター中心の更新と交互に行われますが、追加のパラメーターは学習されません。
これらの革新により、CLUSTSEG は EM クラスタリングに密接にリンクされ、上記のセグメンテーション タスク全体で優れた結果を生み出す透明で強力なフレームワークになります。

要約(オリジナル)

We present CLUSTSEG, a general, transformer-based framework that tackles different image segmentation tasks (i.e., superpixel, semantic, instance, and panoptic) through a unified neural clustering scheme. Regarding queries as cluster centers, CLUSTSEG is innovative in two aspects:1) cluster centers are initialized in heterogeneous ways so as to pointedly address task-specific demands (e.g., instance- or category-level distinctiveness), yet without modifying the architecture; and 2) pixel-cluster assignment, formalized in a cross-attention fashion, is alternated with cluster center update, yet without learning additional parameters. These innovations closely link CLUSTSEG to EM clustering and make it a transparent and powerful framework that yields superior results across the above segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google