PAPR: Proximity Attention Point Rendering

要約

シーン サーフェスの正確かつ節約された点群表現をゼロから学習することは、3D 表現の学習において依然として課題です。
既存のポイントベースの手法では、多くの場合、勾配消失の問題が発生したり、シーンのジオメトリやテクスチャを正確にモデル化するために多数のポイントが必要になったりします。
これらの制限に対処するために、私たちは、ポイントベースのシーン表現と微分可能なレンダラーで構成される新しい方法である近接アテンション ポイント レンダリング (PAPR) を提案します。
私たちのシーン表現では、各点がその空間位置、前景スコア、およびビューに依存しない特徴ベクトルによって特徴付けられる点群を使用します。
レンダラーは各光線に関連する点を選択し、関連する機能を使用して正確な色を生成します。
PAPR は、初期化がターゲット ジオメトリと大幅に異なる場合でも、点群の位置を効果的に学習して、正しいシーン ジオメトリを表現します。
特に、私たちの方法は、最小限の点のセットのみを使用しながら、細かいテクスチャの詳細をキャプチャします。
また、ジオメトリ編集、オブジェクト操作、テクスチャ転送、露出制御という、この方法の 4 つの実際的なアプリケーションも示します。
さらに多くの結果とコードは、プロジェクト Web サイト (https://zvict.github.io/papr/) で入手できます。

要約(オリジナル)

Learning accurate and parsimonious point cloud representations of scene surfaces from scratch remains a challenge in 3D representation learning. Existing point-based methods often suffer from the vanishing gradient problem or require a large number of points to accurately model scene geometry and texture. To address these limitations, we propose Proximity Attention Point Rendering (PAPR), a novel method that consists of a point-based scene representation and a differentiable renderer. Our scene representation uses a point cloud where each point is characterized by its spatial position, foreground score, and view-independent feature vector. The renderer selects the relevant points for each ray and produces accurate colours using their associated features. PAPR effectively learns point cloud positions to represent the correct scene geometry, even when the initialization drastically differs from the target geometry. Notably, our method captures fine texture details while using only a parsimonious set of points. We also demonstrate four practical applications of our method: geometry editing, object manipulation, texture transfer, and exposure control. More results and code are available on our project website at https://zvict.github.io/papr/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google