Colorizing Monochromatic Radiance Fields

要約

Neural Radiance Fields (NeRF) は 2D 画像のセットを使用して世界のカラフルな 3D 表現を生成できますが、モノクロ画像のみが提供されている場合、そのような機能は存在しません。
世界を表現するには色が必要であるため、単色の放射フィールドから色を再現することが重要になります。
この目標を達成するために、単色放射輝度フィールドを直接操作するのではなく、Lab 色空間での表現予測タスクとしてそれを考慮します。
最初に単色画像を使用して輝度と濃度の表現を構築することで、予測段階で画像の色付けモジュールに基づいて色表現を再作成できます。
次に、輝度、密度、色の表現を通じてカラフルな暗黙的モデルを再現します。
私たちのアプローチの有効性を検証するために、大規模な実験が行われました。
私たちのプロジェクトページ: https://liquidammonia.github.io/color-nerf。

要約(オリジナル)

Though Neural Radiance Fields (NeRF) can produce colorful 3D representations of the world by using a set of 2D images, such ability becomes non-existent when only monochromatic images are provided. Since color is necessary in representing the world, reproducing color from monochromatic radiance fields becomes crucial. To achieve this goal, instead of manipulating the monochromatic radiance fields directly, we consider it as a representation-prediction task in the Lab color space. By first constructing the luminance and density representation using monochromatic images, our prediction stage can recreate color representation on the basis of an image colorization module. We then reproduce a colorful implicit model through the representation of luminance, density, and color. Extensive experiments have been conducted to validate the effectiveness of our approaches. Our project page: https://liquidammonia.github.io/color-nerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google