Tuning-Free Amodal Segmentation via the Occlusion-Free Bias of Inpainting Models

要約

Amodalセグメンテーションは、オブジェクトの可視領域と閉塞領域の両方のセグメンテーションマスクを予測することを目的としています。
ほとんどの既存の作品は、これを監視された学習問題として定式化し、手動で注釈されたアモーダルマスクまたは合成トレーニングデータを必要とします。
その結果、パフォーマンスはデータセットの品質に依存します。データセットは、多様性と規模を欠いていることがよくあります。
この作業では、アモーダルセグメンテーションのために前処理された拡散ベースのインパインティングモデルを再利用するチューニングフリーアプローチを導入します。
私たちのアプローチは、インスピングモデルの「オクルージョンのないバイアス」によって動機付けられています。つまり、塗装されたオブジェクトは、閉塞のない完全なオブジェクトである傾向があります。
具体的には、追加のトレーニングや微調整なしで、開始を介してオブジェクトの閉塞領域を再構築し、セグメンテーションを適用します。
5つのデータセットでの実験は、アプローチの一般化と堅牢性を示しています。
平均して、私たちのアプローチは、最先端の5.3％の正確なマスクを達成します。

要約(オリジナル)

Amodal segmentation aims to predict segmentation masks for both the visible and occluded regions of an object. Most existing works formulate this as a supervised learning problem, requiring manually annotated amodal masks or synthetic training data. Consequently, their performance depends on the quality of the datasets, which often lack diversity and scale. This work introduces a tuning-free approach that repurposes pretrained diffusion-based inpainting models for amodal segmentation. Our approach is motivated by the ‘occlusion-free bias’ of inpainting models, i.e., the inpainted objects tend to be complete objects without occlusions. Specifically, we reconstruct the occluded regions of an object via inpainting and then apply segmentation, all without additional training or fine-tuning. Experiments on five datasets demonstrate the generalizability and robustness of our approach. On average, our approach achieves 5.3% more accurate masks over the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google