Textureless Deformable Surface Reconstruction with Invisible Markers

要約

テクスチャがほとんどまたはまったくない変形可能な表面を再構築して追跡することは、長年にわたる課題となっています。
基本的に、この課題は、テクスチャのない表面に画像間の対応関係を確立するための機能が欠けていることに起因しています。
この研究では、物体の表面の特徴を積極的に強化し、それによって 3D 表面の再構成と対応追跡を容易にする新しいタイプのマーカーを紹介します。
当社のマーカーは蛍光染料で作られており、紫外線 (UV) 光の下でのみ表示され、通常の照明条件下では表示されません。
マーカーを活用して、紫外光と可視光の下での表面変形を時間多重方式で捕捉するマルチカメラ システムを設計します。
UV 光の下では、オブジェクト上のマーカーが浮かび上がり、その表面テクスチャが豊かになり、高品質の 3D 形状の再構築と追跡が可能になります。
可視光の下ではマーカーが見えなくなり、物体の本来の手つかずの外観を捉えることができます。
私たちは、手のジェスチャー、顔の表情、布を振る、手とオブジェクトのインタラクションなど、さまざまな挑戦的なシーンで実験を行います。
これらすべてのケースにおいて、私たちのシステムが堅牢で高品質の 3D 再構成と追跡を生成できることを実証します。

要約(オリジナル)

Reconstructing and tracking deformable surface with little or no texture has posed long-standing challenges. Fundamentally, the challenges stem from textureless surfaces lacking features for establishing cross-image correspondences. In this work, we present a novel type of markers to proactively enrich the object’s surface features, and thereby ease the 3D surface reconstruction and correspondence tracking. Our markers are made of fluorescent dyes, visible only under the ultraviolet (UV) light and invisible under regular lighting condition. Leveraging the markers, we design a multi-camera system that captures surface deformation under the UV light and the visible light in a time multiplexing fashion. Under the UV light, markers on the object emerge to enrich its surface texture, allowing high-quality 3D shape reconstruction and tracking. Under the visible light, markers become invisible, allowing us to capture the object’s original untouched appearance. We perform experiments on various challenging scenes, including hand gestures, facial expressions, waving cloth, and hand-object interaction. In all these cases, we demonstrate that our system is able to produce robust, high-quality 3D reconstruction and tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google