Single-view 3D reconstruction via inverse procedural modeling

要約

我々は、逆手続き型モデリングによる 3D 再構成のアプローチを提案し、このアプローチの 2 つの変形を調査します。
最初のオプションは、遺伝的アルゴリズムを使用して入力パラメーターのセットをフィッティングすることで構成されます。
既存のほとんどの方法では処理できない再構築を伴う、ツリー モデル、複雑なオブジェクトに関する作業の結果を示します。
2 番目のオプションでは、ミーム アルゴリズム、微分可能なレンダリング、微分可能な手続き型ジェネレーター内で勾配を使用することで、精度を大幅に向上させることができます。
私たちの取り組みでは、主に 2 つの貢献が見られます。
まず、微分可能レンダリングと逆手続き型モデリングを結合する方法を提案します。
これにより、利用可能な入力画像の数が少ない場合 (単一画像であっても)、既存のアプローチよりも正確に 3D モデルを再構成する機会が得られます。
第 2 に、微分可能な手続き型ジェネレーターと微分不可能な手続き型ジェネレーターの両方を 1 つのフレームワークに結合します。これにより、逆手続き型モデリングをかなり複雑なジェネレーターに適用できます。勾配が利用可能な場合、再構築は正確であり、勾配が利用できない場合、再構築は近似的ですが常に行われます。
視覚的なアーティファクトのない高品質。

要約(オリジナル)

We propose an approach to 3D reconstruction via inverse procedural modeling and investigate two variants of this approach. The first option consists in the fitting set of input parameters using a genetic algorithm. We demonstrate the results of our work on tree models, complex objects, with the reconstruction of which most existing methods cannot handle. The second option allows us to significantly improve the precision by using gradients within memetic algorithm, differentiable rendering and also differentiable procedural generators. In our work we see 2 main contributions. First, we propose a method to join differentiable rendering and inverse procedural modeling. This gives us an opportunity to reconstruct 3D model more accurately than existing approaches when a small number of input images are available (even for single image). Second, we join both differentiable and non-differentiable procedural generators in a single framework which allow us to apply inverse procedural modeling to fairly complex generators: when gradient is available, reconstructions is precise, when gradient is not available, reconstruction is approximate, but always high quality without visual artifacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google