REFRAME: Reflective Surface Real-Time Rendering for Mobile Devices

要約

この作品は、さまざまなシーンにわたる反射面のリアルタイムの新しいビュー合成を達成するという困難な課題に取り組んでいます。
既存のリアルタイム レンダリング方法、特にメッシュに基づく方法は、多くの場合、豊かなビュー依存の外観を持つサーフェスのモデリングにおいて標準以下のパフォーマンスを示します。
私たちの重要なアイデアは、ビュー依存の情報をパラメータ化する新しいアプローチを組み込むと同時に、レンダリングの高速化のためにメッシュを活用することにあります。
色を拡散と鏡面に分解し、神経環境マップに基づいて反射方向の鏡面色をモデル化します。
私たちの実験は、私たちの方法が最先端のオフライン方法と比較して、高反射表面に対して同等の再構成品質を達成すると同時に、スマートフォンなどのエッジデバイスでのリアルタイムレンダリングを効率的に可能にすることを実証しています。

要約(オリジナル)

This work tackles the challenging task of achieving real-time novel view synthesis for reflective surfaces across various scenes. Existing real-time rendering methods, especially those based on meshes, often have subpar performance in modeling surfaces with rich view-dependent appearances. Our key idea lies in leveraging meshes for rendering acceleration while incorporating a novel approach to parameterize view-dependent information. We decompose the color into diffuse and specular, and model the specular color in the reflected direction based on a neural environment map. Our experiments demonstrate that our method achieves comparable reconstruction quality for highly reflective surfaces compared to state-of-the-art offline methods, while also efficiently enabling real-time rendering on edge devices such as smartphones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google