SAD: Segment Any RGBD

要約

Segment Anything Model (SAM) は、2D RGB 画像の任意の部分をセグメント化する際の有効性を実証しています。
ただし、SAM は、RGB イメージをセグメント化するときに、ジオメトリ情報にはあまり注意を払わず、テクスチャ情報をより重視します。
この制限に対処するために、画像から直接ジオメトリ情報を抽出するように特別に設計された Segment Any RGBD (SAD) モデルを提案します。
深度マップの視覚化を通じてオブジェクトを識別する人間の自然な能力にヒントを得た SAD は、SAM を利用してレンダリングされた深度マップをセグメント化することで、強化されたジオメトリ情報をキューに提供し、過剰セグメント化の問題を軽減します。
さらに、オープンボキャブラリーのセマンティックセグメンテーションをフレームワークに組み込むことで、3D パノプティックセグメンテーションが実現されます。
プロジェクトは https://github.com/Jun-CEN/SegmentAnyRGBD で入手できます。

要約(オリジナル)

The Segment Anything Model (SAM) has demonstrated its effectiveness in segmenting any part of 2D RGB images. However, SAM exhibits a stronger emphasis on texture information while paying less attention to geometry information when segmenting RGB images. To address this limitation, we propose the Segment Any RGBD (SAD) model, which is specifically designed to extract geometry information directly from images. Inspired by the natural ability of humans to identify objects through the visualization of depth maps, SAD utilizes SAM to segment the rendered depth map, thus providing cues with enhanced geometry information and mitigating the issue of over-segmentation. We further include the open-vocabulary semantic segmentation in our framework, so that the 3D panoptic segmentation is fulfilled. The project is available on https://github.com/Jun-CEN/SegmentAnyRGBD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google