Tabletop Transparent Scene Reconstruction via Epipolar-Guided Optical Flow with Monocular Depth Completion Prior

要約

手頃な価格の RGB-D カメラを使用して透明なオブジェクトを再構成することは、RGB ドメインのビュー全体で一貫性のない外観と、各単一ビューでの不正確な深さの読み取りにより、ロボットの認識における永続的な課題です。
モバイル プラットフォーム向けに調整された透明なオブジェクトを再構築するための 2 段階のパイプラインを導入します。
第 1 段階では、既製の単眼オブジェクト セグメンテーションと深度補完ネットワークを利用して透明オブジェクトの深度を予測し、単一ビューの形状を事前に提供します。
続いて、シーンの不透明な部分から推定されたカメラポーズを考慮して、最初の段階からクロスビューの一貫した3D再構築まで、いくつかのシングルビュー形状事前情報を融合するエピポーラガイドオプティカルフロー（EOF）を提案します。
私たちの主な革新は、境界に敏感なサンプリングとエピポーラ線制約をオプティカル フローに採用して、透明なオブジェクト上の複数のビューにわたる 2D 対応関係を正確に確立する EOF にあります。
定量的評価では、当社のパイプラインが 3D 再構築の品質においてベースライン手法を大幅に上回り、ロボットによるより熟練した認識と透明なオブジェクトとのインタラクションへの道を開くことが実証されました。

要約(オリジナル)

Reconstructing transparent objects using affordable RGB-D cameras is a persistent challenge in robotic perception due to inconsistent appearances across views in the RGB domain and inaccurate depth readings in each single-view. We introduce a two-stage pipeline for reconstructing transparent objects tailored for mobile platforms. In the first stage, off-the-shelf monocular object segmentation and depth completion networks are leveraged to predict the depth of transparent objects, furnishing single-view shape prior. Subsequently, we propose Epipolar-guided Optical Flow (EOF) to fuse several single-view shape priors from the first stage to a cross-view consistent 3D reconstruction given camera poses estimated from opaque part of the scene. Our key innovation lies in EOF which employs boundary-sensitive sampling and epipolar-line constraints into optical flow to accurately establish 2D correspondences across multiple views on transparent objects. Quantitative evaluations demonstrate that our pipeline significantly outperforms baseline methods in 3D reconstruction quality, paving the way for more adept robotic perception and interaction with transparent objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google