Neural 4D Evolution under Large Topological Changes from 2D Images

要約

文献では、既知の明示的な 3D サーフェスからターゲット サーフェスへの展開は、瞬間的な流れ場を使用して 2D 画像から学習できることが示されています。この場合、既知の 3D サーフェスとターゲット 3D サーフェスはトポロジーが大きく異なる可能性があります。
私たちは、時間の経過とともにトポロジーが大きく変化する 4D 形状をキャプチャすることに興味があります。
既存の 3D ベースの手法を目的の 4D ケースに単純に拡張すると、パフォーマンスが低下することがわかります。
この研究では、2 つの新しい修正を提案することで、大きな位相変化の下で 3D 神経進化を 4D に拡張する際の課題に取り組みます。
より正確には、(i) 変形を離散化して符号化し、SDF を学習するための新しいアーキテクチャと、(ii) 時間的一貫性を課す手法を導入します。
(iii) また、ガウス スプラッティングに基づく色予測のレンダリング スキームを提案します。
さらに、2D 画像からの直接学習を容易にするために、RGB 画像から幾何学形状と外観を解きほぐすことができる学習フレームワークを提案します。
この解き方は、私たちが集中的に取り組んでいる 4D 進化問題にも役立ちますが、斬新で、静的なシーンにも有効です。
さまざまなデータに対する広範な実験により、素晴らしい結果が得られ、最も重要なことに、重大なトポロジー変化や変形を伴う困難なシーンを再構築するための新しいアプローチが開かれました。
私たちのソース コードとデータセットは https://github.com/insait-institute/N4DE で公開されています。

要約(オリジナル)

In the literature, it has been shown that the evolution of the known explicit 3D surface to the target one can be learned from 2D images using the instantaneous flow field, where the known and target 3D surfaces may largely differ in topology. We are interested in capturing 4D shapes whose topology changes largely over time. We encounter that the straightforward extension of the existing 3D-based method to the desired 4D case performs poorly. In this work, we address the challenges in extending 3D neural evolution to 4D under large topological changes by proposing two novel modifications. More precisely, we introduce (i) a new architecture to discretize and encode the deformation and learn the SDF and (ii) a technique to impose the temporal consistency. (iii) Also, we propose a rendering scheme for color prediction based on Gaussian splatting. Furthermore, to facilitate learning directly from 2D images, we propose a learning framework that can disentangle the geometry and appearance from RGB images. This method of disentanglement, while also useful for the 4D evolution problem that we are concentrating on, is also novel and valid for static scenes. Our extensive experiments on various data provide awesome results and, most importantly, open a new approach toward reconstructing challenging scenes with significant topological changes and deformations. Our source code and the dataset are publicly available at https://github.com/insait-institute/N4DE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google