VET: Visual Error Tomography for Point Cloud Completion and High-Quality Neural Rendering

要約

ここ数年、ディープ ニューラル ネットワークにより、新しいビュー合成における大きな進歩への扉が開かれました。
これらのアプローチの多くは、モーション アルゴリズムからの構造によって取得される (粗い) プロキシ ジオメトリに基づいています。
このプロキシの小さな欠陥はニューラル レンダリングによって修正できますが、大きな穴や部品の欠落は、薄い構造や光沢のある領域によく見られるため、依然として気が散るアーティファクトや一時的な不安定性につながります。
この論文では、そのような欠陥を検出して修正するための新しいニューラル レンダリング ベースのアプローチを紹介します。
プロキシとして点群を使用します。これにより、複雑なトポロジー操作を行わずに外れ値のジオメトリを簡単に削除し、不足しているジオメトリを埋めることができます。
私たちのアプローチの鍵となるのは、(i) 冗長なポイントをブレンドできる微分可能なブレンドポイントベースのレンダラー、および (ii) 2D エラー マップを持ち上げて 3D を識別できるようにする Visual Error Tomography (VET) の概念です。
– ジオメトリが欠落している領域と、それに応じて新しいポイントが生成されます。
さらに、(iii) ネストされた環境マップとしてポイントを追加することにより、私たちのアプローチにより、同じパイプラインで周囲の高品質のレンダリングを生成できるようになります。
私たちの結果では、私たちのアプローチが動きから構造によって得られる点群の品質を向上させ、それによって新しいビューの合成品質を大幅に向上できることを示しています。
点成長技術とは対照的に、このアプローチでは、大規模な穴や欠けている薄い構造も効果的に修正できます。
レンダリング品質は最先端の方法を上回り、時間的安定性が大幅に向上し、リアルタイム フレーム レートでのレンダリングが可能です。

要約(オリジナル)

In the last few years, deep neural networks opened the doors for big advances in novel view synthesis. Many of these approaches are based on a (coarse) proxy geometry obtained by structure from motion algorithms. Small deficiencies in this proxy can be fixed by neural rendering, but larger holes or missing parts, as they commonly appear for thin structures or for glossy regions, still lead to distracting artifacts and temporal instability. In this paper, we present a novel neural-rendering-based approach to detect and fix such deficiencies. As a proxy, we use a point cloud, which allows us to easily remove outlier geometry and to fill in missing geometry without complicated topological operations. Keys to our approach are (i) a differentiable, blending point-based renderer that can blend out redundant points, as well as (ii) the concept of Visual Error Tomography (VET), which allows us to lift 2D error maps to identify 3D-regions lacking geometry and to spawn novel points accordingly. Furthermore, (iii) by adding points as nested environment maps, our approach allows us to generate high-quality renderings of the surroundings in the same pipeline. In our results, we show that our approach can improve the quality of a point cloud obtained by structure from motion and thus increase novel view synthesis quality significantly. In contrast to point growing techniques, the approach can also fix large-scale holes and missing thin structures effectively. Rendering quality outperforms state-of-the-art methods and temporal stability is significantly improved, while rendering is possible at real-time frame rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google