Betsu-Betsu: Multi-View Separable 3D Reconstruction of Two Interacting Objects

要約

マルチビューRGB画像からの複数のオブジェクトの分離可能な3D再構築 – 2つのオブジェクトの2つの異なる3D形状がそれらの間を明確に分離しているため、まばらに研究された問題のままです。
重度の相互閉塞とオブジェクトの相互作用境界に沿ったあいまいさのために挑戦的です。
このホワイトペーパーでは、設定を調査し、3Dでの両方の分離を行いながら、密接な相互作用を経験しながら2つのオブジェクトのジオメトリと外観を再構築できる新しい神経インマプリティメソッドを導入します。
このフレームワークは、エンドツーエンドのトレーニング可能であり、極端な閉塞の下でも2つの形状が十分に分離されることを保証する新しいアルファブレンドの正規化を使用して監督できます。
再構築方法はマーカーレスであり、剛性および明確なオブジェクトに適用できます。
人間とオブジェクトの間の緊密な相互作用で構成される新しいデータセットを紹介し、武道を演じる人間の2つのシーンでも評価します。
この実験は、私たちのフレームワークの有効性と、3Dと新しいビュー合成メトリックを使用した大幅な改善を確認し、設定で適用されるいくつかの既存のアプローチと比較しています。

要約(オリジナル)

Separable 3D reconstruction of multiple objects from multi-view RGB images — resulting in two different 3D shapes for the two objects with a clear separation between them — remains a sparsely researched problem. It is challenging due to severe mutual occlusions and ambiguities along the objects’ interaction boundaries. This paper investigates the setting and introduces a new neuro-implicit method that can reconstruct the geometry and appearance of two objects undergoing close interactions while disjoining both in 3D, avoiding surface inter-penetrations and enabling novel-view synthesis of the observed scene. The framework is end-to-end trainable and supervised using a novel alpha-blending regularisation that ensures that the two geometries are well separated even under extreme occlusions. Our reconstruction method is markerless and can be applied to rigid as well as articulated objects. We introduce a new dataset consisting of close interactions between a human and an object and also evaluate on two scenes of humans performing martial arts. The experiments confirm the effectiveness of our framework and substantial improvements using 3D and novel view synthesis metrics compared to several existing approaches applicable in our setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google