Neural Scene Chronology

要約

この研究では、大規模ランドマークのインターネット写真から、視点、照明、時間を独立して制御してフォトリアリスティックなレンダリングを可能にする時間変化する 3D モデルを再構築することを目指しています。
主要な課題は 2 つあります。
まず、照明や背景となるシーン自体の変化 (落書きアートワークを別の落書きアートワークに置き換えるなど) など、さまざまな種類の時間的変化が画像内で絡み合っています。
第 2 に、シーン レベルの時間的変化は、連続的ではなく、時間の経過とともに離散的かつ散発的であることがよくあります。
これらの問題に取り組むために、我々は、時間の経過に伴う区分的な定数関数として離散的なシーンレベルのコンテンツの変化をモデル化できる新しい時間ステップ関数符号化方法を備えた新しいシーン表現を提案します。
具体的には、シーンを画像ごとの照明埋め込みを備えた時空間放射輝度フィールドとして表現し、時間的に変化するシーンの変化が学習されたステップ関数のセットを使用してエンコードされます。
インターネット画像から年代順を再構築するというタスクを容易にするために、時間の経過とともにさまざまな変化を示す 4 つのシーンからなる新しいデータセットも収集します。
私たちの方法が、視点、時間、照明の独立した制御を達成しながら、このデータセット上で最先端のビュー合成結果を示すことを実証します。

要約(オリジナル)

In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google