Local Implicit Ray Function for Generalizable Radiance Field Representation

要約

タイトル：一般化可能な放射フィールド表現のための局所暗黙のレイ関数
要約：
– 一般的なニューラルレンダリング手法である神経放射フィールド（NeRF）法は、ピクセルごとに1本しかレイをサンプリングしないため、入力視点とレンダリング視点の解像度が異なるとシーンをぼやかしたり、エイリアスのあるビューをレンダリングしてしまうことがある。
– この問題を解決するために、本論文では、円錐フラスタム（conical frustum）からの情報を集約してレイを構築するLIRF（Local Implicit Ray Function）を提案する。
– LIRFは、円錐フラスタム内の3D位置を与えられた際に、その座標と特徴量を入力として受け取り、局所的な体積放射フィールドを予測する。
– 座標が連続であるため、体積レンダリングを用いて連続値スケールで高品質な新しいビューをレンダリングすることが可能である。
– また、トランスフォーマーベースの特徴量マッチングを用いて、各入力ビューの可視重みを予測し、遮蔽された領域での性能を改善する。
– 実験結果は、本手法が新しい場面に対する任意のスケールのビューをレンダリングする際に、既存の手法に比べて優れた性能を発揮することを示している。

要約(オリジナル)

We propose LIRF (Local Implicit Ray Function), a generalizable neural rendering approach for novel view rendering. Current generalizable neural radiance fields (NeRF) methods sample a scene with a single ray per pixel and may therefore render blurred or aliased views when the input views and rendered views capture scene content with different resolutions. To solve this problem, we propose LIRF to aggregate the information from conical frustums to construct a ray. Given 3D positions within conical frustums, LIRF takes 3D coordinates and the features of conical frustums as inputs and predicts a local volumetric radiance field. Since the coordinates are continuous, LIRF renders high-quality novel views at a continuously-valued scale via volume rendering. Besides, we predict the visible weights for each input view via transformer-based feature matching to improve the performance in occluded areas. Experimental results on real-world scenes validate that our method outperforms state-of-the-art methods on novel view rendering of unseen scenes at arbitrary scales.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI