LightSim: Neural Lighting Simulation for Urban Scenes

要約

屋外の照明条件が異なると都市風景の外観が大きく変化し、トレーニング中にそれを確認できなかった場合、画像ベースのロボット認識システムのパフォーマンスに悪影響を与える可能性があります。
カメラ シミュレーションは、さまざまな照明条件下でキャプチャされた画像の大規模なデータセットを作成するための費用対効果の高いソリューションを提供します。
この目標に向けて、多様で現実的で制御可能なデータ生成を可能にするニューラル照明カメラ シミュレーション システムである LightSim を提案します。
LightSim は、収集された生のセンサー データから照明対応デジタル ツインを大規模に自動的に構築し、正確なジオメトリ、外観、推定されたシーン照明を使用してシーンを動的なアクターと静的な背景に分解します。
これらのデジタル ツインにより、アクターの挿入、変更、削除、および新しい視点からのレンダリングがすべて照明を意識した方法で可能になります。
次に、LightSim は、物理ベースの学習可能な遅延レンダリングを組み合わせて、太陽の位置の変更、影の変更、太陽の明るさの変更など、変更されたシーンの現実的な再照明を実行し、空間的および時間的に一貫したカメラ ビデオを生成します。
私たちの実験は、LightSim が以前の研究よりも現実的な再照明結果を生成することを示しています。
重要なのは、LightSim によって生成されたデータに基づいて知覚モデルをトレーニングすると、パフォーマンスが大幅に向上する可能性があるということです。

要約(オリジナル)

Different outdoor illumination conditions drastically alter the appearance of urban scenes, and they can harm the performance of image-based robot perception systems if not seen during training. Camera simulation provides a cost-effective solution to create a large dataset of images captured under different lighting conditions. Towards this goal, we propose LightSim, a neural lighting camera simulation system that enables diverse, realistic, and controllable data generation. LightSim automatically builds lighting-aware digital twins at scale from collected raw sensor data and decomposes the scene into dynamic actors and static background with accurate geometry, appearance, and estimated scene lighting. These digital twins enable actor insertion, modification, removal, and rendering from a new viewpoint, all in a lighting-aware manner. LightSim then combines physically-based and learnable deferred rendering to perform realistic relighting of modified scenes, such as altering the sun location and modifying the shadows or changing the sun brightness, producing spatially- and temporally-consistent camera videos. Our experiments show that LightSim generates more realistic relighting results than prior work. Importantly, training perception models on data generated by LightSim can significantly improve their performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google