Compositor: Bottom-up Clustering and Compositing for Robust Part and Object Segmentation

要約

この研究では、関節部分とオブジェクトのセグメンテーションのための堅牢なアプローチを紹介します。
具体的には、オブジェクトとパーツのセグメンテーションを最適化問題として再定式化し、ピクセル、パーツ、オブジェクトレベルの埋め込みを含む階層的な特徴表現を構築して、ボトムアップ クラスタリング方式で解決します。
ピクセルはいくつかのクラスターにグループ化され、パーツレベルの埋め込みがクラスターの中心として機能します。
その後、パーツ提案を合成することでオブジェクト マスクが取得されます。
このボトムアップの相互作用は、より低い意味レベルからより高い意味レベルまで情報を統合するのに効果的であることが示されています。
これに基づいて、当社の新しいアプローチである Compositor は、マスクの品質を向上させながら、パーツとオブジェクトのセグメンテーション マスクを同時に生成します。
Compositor は、パーツとオブジェクトの mIoU に関して、以前の方法よりも PartImageNet で約 0.9% と 1.3%、Pascal-Part で 0.4% と 1.7% 上回り、PartImageNet と Pascal-Part で最先端のパフォーマンスを実現し、より優れた堅牢性を示します。
オクルージョンに対して、パーツとオブジェクトでそれぞれ約 4.4% と 7.1% 減少します。
コードは https://github.com/TACJu/Compositor で入手できます。

要約(オリジナル)

In this work, we present a robust approach for joint part and object segmentation. Specifically, we reformulate object and part segmentation as an optimization problem and build a hierarchical feature representation including pixel, part, and object-level embeddings to solve it in a bottom-up clustering manner. Pixels are grouped into several clusters where the part-level embeddings serve as cluster centers. Afterwards, object masks are obtained by compositing the part proposals. This bottom-up interaction is shown to be effective in integrating information from lower semantic levels to higher semantic levels. Based on that, our novel approach Compositor produces part and object segmentation masks simultaneously while improving the mask quality. Compositor achieves state-of-the-art performance on PartImageNet and Pascal-Part by outperforming previous methods by around 0.9% and 1.3% on PartImageNet, 0.4% and 1.7% on Pascal-Part in terms of part and object mIoU and demonstrates better robustness against occlusion by around 4.4% and 7.1% on part and object respectively. Code will be available at https://github.com/TACJu/Compositor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google