FusionVision: A comprehensive approach of 3D object reconstruction and segmentation from RGB-D cameras using YOLO and fast segment anything

要約

コンピューター ビジョンの分野では、多様な環境条件やさまざまなオブジェクトの外観から生じる固有の複雑性を考慮すると、高度な技術を RGB-D カメラ入力の処理に統合することは、大きな課題となります。
したがって、このホワイト ペーパーでは、RGB-D 画像内のオブジェクトの堅牢な 3D セグメンテーションに適合した網羅的なパイプラインである FusionVision を紹介します。
従来のコンピュータ ビジョン システムは、主に RGB カメラ向けに提案されているため、正確なオブジェクトの境界をキャプチャし、深度マップ上で高精度のオブジェクト検出を達成することを同時に行うには限界があります。
この課題に対処するために、FusionVision は最先端のオブジェクト検出技術と高度なインスタンス セグメンテーション手法を融合することによる統合アプローチを採用しています。
これらのコンポーネントの統合により、RGB-D データの総合的 (カラー \textit{RGB} チャネルと深度 \textit{D} チャネルの両方から得られる情報の統合分析) 解釈が可能になり、包括的で正確なオブジェクト情報の抽出が容易になります。
提案されている FusionVision パイプラインは、RGB 画像ドメイン内のオブジェクトを識別するために YOLO を採用しています。
その後、革新的なセマンティック セグメンテーション モデルである FastSAM を適用してオブジェクトの境界を描写し、洗練されたセグメンテーション マスクを生成します。
これらのコンポーネントと 3D シーンの理解への統合の間の相乗効果により、オブジェクトの検出とセグメンテーションが確実に統合され、3D オブジェクトのセグメンテーションの全体的な精度が向上します。
コードと事前トレーニングされたモデルは、https://github.com/safouaneelg/FusionVision/ で公開されています。

要約(オリジナル)

In the realm of computer vision, the integration of advanced techniques into the processing of RGB-D camera inputs poses a significant challenge, given the inherent complexities arising from diverse environmental conditions and varying object appearances. Therefore, this paper introduces FusionVision, an exhaustive pipeline adapted for the robust 3D segmentation of objects in RGB-D imagery. Traditional computer vision systems face limitations in simultaneously capturing precise object boundaries and achieving high-precision object detection on depth map as they are mainly proposed for RGB cameras. To address this challenge, FusionVision adopts an integrated approach by merging state-of-the-art object detection techniques, with advanced instance segmentation methods. The integration of these components enables a holistic (unified analysis of information obtained from both color \textit{RGB} and depth \textit{D} channels) interpretation of RGB-D data, facilitating the extraction of comprehensive and accurate object information. The proposed FusionVision pipeline employs YOLO for identifying objects within the RGB image domain. Subsequently, FastSAM, an innovative semantic segmentation model, is applied to delineate object boundaries, yielding refined segmentation masks. The synergy between these components and their integration into 3D scene understanding ensures a cohesive fusion of object detection and segmentation, enhancing overall precision in 3D object segmentation. The code and pre-trained models are publicly available at https://github.com/safouaneelg/FusionVision/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google