LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis

要約

タイトル：LANe：物語構成のための照明感知型ニューラルフィールド

要約：
– ニューラルフィールドは、最近、3Dシーンの表現やレンダリングにおいて大成功を収めています。
– しかし、既存のimplicit表現は、軽微な変化を除く静的または動的なシーン全体をモデル化しています。
– 物体のニューラルフィールドと世界のニューラルフィールドを学習する既存の作業は、異なる世界のニューラルフィールドに対しても照明に注意してオブジェクトを組み合わせる問題を考慮していません。
– 物理的に一貫した方法で運転シーンを構成するためのライティングに注意したニューラルフィールド（LANe）を提案します。
– 具体的には、静的な背景と一時的な要素を世界のニューラルフィールドとクラス固有のオブジェクトのニューラルフィールドに分離するシーン表現を学習することにより、複数のオブジェクトをシーンで構成できます。
– LANeは、照明の変化を処理するために世界とオブジェクトのモデルを明示的に設計し、シーンのライトフィールドを構築し、それを学習したシェーダーと組み合わせてオブジェクトの外観を調整することにより、空間的にバリアブルな照明でオブジェクトをシーンに組み合わせることができます。
– LANeはCARLAシミュレーターでレンダリングされた様々な照明条件の合成データセット、および異なる時間に集められた車の新しい現実世界のデータセットでのパフォーマンスを示しています。
– 結果として、我々のアプローチは、難しいデータセット設定において、一つのシーンから学習したオブジェクトニューラルフィールドを完全に異なるシーンに組み合わせるときに、それでも新しいシーンのライトの変化を尊重する最新の物語構成に比べて優れていることを示しています。

要約(オリジナル)

Neural fields have recently enjoyed great success in representing and rendering 3D scenes. However, most state-of-the-art implicit representations model static or dynamic scenes as a whole, with minor variations. Existing work on learning disentangled world and object neural fields do not consider the problem of composing objects into different world neural fields in a lighting-aware manner. We present Lighting-Aware Neural Field (LANe) for the compositional synthesis of driving scenes in a physically consistent manner. Specifically, we learn a scene representation that disentangles the static background and transient elements into a world-NeRF and class-specific object-NeRFs to allow compositional synthesis of multiple objects in the scene. Furthermore, we explicitly designed both the world and object models to handle lighting variation, which allows us to compose objects into scenes with spatially varying lighting. This is achieved by constructing a light field of the scene and using it in conjunction with a learned shader to modulate the appearance of the object NeRFs. We demonstrate the performance of our model on a synthetic dataset of diverse lighting conditions rendered with the CARLA simulator, as well as a novel real-world dataset of cars collected at different times of the day. Our approach shows that it outperforms state-of-the-art compositional scene synthesis on the challenging dataset setup, via composing object-NeRFs learned from one scene into an entirely different scene whilst still respecting the lighting variations in the novel scene. For more results, please visit our project website https://lane-composition.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI