Coloring the Past: Neural Historical Buildings Reconstruction from Archival Photography

要約

歴史的建造物は人類の文化遺産の宝でありマイルストーンです。
これらの建物の 3D モデルを再構築することには大きな価値があります。
ニューラルレンダリング手法の急速な発展により、アーカイブ写真に基づいてのみ 3D 形状を復元できるようになりました。
ただし、このようなデータセットには制限があるため、このタスクにはかなりの課題が伴います。
歴史的な写真は枚数が限られていることが多く、これらの写真に含まれるシーンは時間の経過とともに変化している可能性があります。
これらの画像の放射品質も最適ではないことがよくあります。
これらの課題に対処するために、ボリューム レンダリング技術を使用して歴史的建造物の幾何学的形状を再構築するアプローチを導入します。
幾何学的事前分布として密な点群を活用し、色の見えの埋め込み損失を導入して、限られた利用可能なカラー画像から建物の色を復元します。
私たちは、歴史的建造物の保存への関心を高め、重点を置く活動を目指しています。
したがって、ハンガリー国立劇場の新しい歴史的データセットも導入し、復元方法の新しいベンチマークを提供します。

要約(オリジナル)

Historical buildings are a treasure and milestone of human cultural heritage. Reconstructing the 3D models of these building hold significant value. The rapid development of neural rendering methods makes it possible to recover the 3D shape only based on archival photographs. However, this task presents considerable challenges due to the limitations of such datasets. Historical photographs are often limited in number and the scenes in these photos might have altered over time. The radiometric quality of these images is also often sub-optimal. To address these challenges, we introduce an approach to reconstruct the geometry of historical buildings, employing volumetric rendering techniques. We leverage dense point clouds as a geometric prior and introduce a color appearance embedding loss to recover the color of the building given limited available color images. We aim for our work to spark increased interest and focus on preserving historical buildings. Thus, we also introduce a new historical dataset of the Hungarian National Theater, providing a new benchmark for the reconstruction method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google