PyTorchGeoNodes: Enabling Differentiable Shape Programs for 3D Shape Reconstruction

要約

我々は、解釈可能な形状プログラムを使用して画像から 3D オブジェクトを再構成するための微分可能なモジュールである PyTorchGeoNodes を提案します。
従来の CAD モデル検索方法と比較して、3D 再構成に形状プログラムを使用すると、再構成されたオブジェクトの意味論的特性、編集、低メモリ使用量などについて推論することができます。ただし、3D シーンの理解のための形状プログラムの利用は主に
過去作では無視されていました。
私たちの主な貢献として、たとえば、Blender で設計された形状プログラムを効率的な PyTorch コードに変換するモジュールを導入することにより、勾配ベースの最適化が可能になります。
また、PyTorchGeoNodes に依存し、Monte Carlo Tree Search (MCTS) からインスピレーションを得て、形状プログラムの離散パラメータと連続パラメータを共同で最適化し、入力シーンの 3D オブジェクトを再構築するメソッドも提供します。
私たちの実験では、アルゴリズムを適用して ScanNet データセット内の 3D オブジェクトを再構築し、結果を CAD モデル検索ベースの再構築と比較して評価します。
私たちの実験では、再構成が入力シーンとよく一致し、再構成されたオブジェクトについての意味論的推論が可能であることが示されました。

要約(オリジナル)

We propose PyTorchGeoNodes, a differentiable module for reconstructing 3D objects from images using interpretable shape programs. In comparison to traditional CAD model retrieval methods, the use of shape programs for 3D reconstruction allows for reasoning about the semantic properties of reconstructed objects, editing, low memory footprint, etc. However, the utilization of shape programs for 3D scene understanding has been largely neglected in past works. As our main contribution, we enable gradient-based optimization by introducing a module that translates shape programs designed in Blender, for example, into efficient PyTorch code. We also provide a method that relies on PyTorchGeoNodes and is inspired by Monte Carlo Tree Search (MCTS) to jointly optimize discrete and continuous parameters of shape programs and reconstruct 3D objects for input scenes. In our experiments, we apply our algorithm to reconstruct 3D objects in the ScanNet dataset and evaluate our results against CAD model retrieval-based reconstructions. Our experiments indicate that our reconstructions match well the input scenes while enabling semantic reasoning about reconstructed objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google