RayDF: Neural Ray-surface Distance Fields with Multi-view Consistency

要約

この論文では、連続的な 3D 形状表現の問題を研究します。
既存の成功した手法の大部分は、座標ベースの暗黙的なニューラル表現です。
ただし、新しいビューをレンダリングしたり、明示的な表面ポイントを回復したりするには非効率的です。
いくつかの研究では 3D 形状をレイベースの神経関数として定式化し始めていますが、多視点ジオメトリの一貫性が欠如しているため、学習された構造は劣っています。
これらの課題に取り組むために、私たちは RayDF と呼ばれる新しいフレームワークを提案します。
これは 3 つの主要なコンポーネントで構成されます: 1) 単純な光線表面距離フィールド、2) 新しいデュアル光線可視度分類器、および 3) 学習された光線表面距離をマルチビューにするためのマルチビュー一貫性最適化モジュール
ジオメトリの一貫性。
私たちは 3 つの公開データセットでこの手法を広範に評価し、合成および困難な現実世界の 3D シーンの両方で 3D 表面点再構築において顕著なパフォーマンスを実証し、既存の座標ベースおよび光線ベースのベースラインを明らかに上回りました。
最も注目すべき点は、私たちの方法は、800×800の深度画像をレンダリングする際に座標ベースの方法よりも1000倍速い速度を達成しており、3D形状表現における私たちの方法の優位性を示しています。
コードとデータは https://github.com/vLAR-group/RayDF で入手できます。

要約(オリジナル)

In this paper, we study the problem of continuous 3D shape representations. The majority of existing successful methods are coordinate-based implicit neural representations. However, they are inefficient to render novel views or recover explicit surface points. A few works start to formulate 3D shapes as ray-based neural functions, but the learned structures are inferior due to the lack of multi-view geometry consistency. To tackle these challenges, we propose a new framework called RayDF. It consists of three major components: 1) the simple ray-surface distance field, 2) the novel dual-ray visibility classifier, and 3) a multi-view consistency optimization module to drive the learned ray-surface distances to be multi-view geometry consistent. We extensively evaluate our method on three public datasets, demonstrating remarkable performance in 3D surface point reconstruction on both synthetic and challenging real-world 3D scenes, clearly surpassing existing coordinate-based and ray-based baselines. Most notably, our method achieves a 1000x faster speed than coordinate-based methods to render an 800×800 depth image, showing the superiority of our method for 3D shape representation. Our code and data are available at https://github.com/vLAR-group/RayDF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google