要約
可視光に基づいた斬新な視点の合成は広く研究されています。
可視光イメージングと比較して、熱赤外線イメージングには全天候イメージングと強力な透過力という利点があり、夜間や悪天候のシナリオでも再構築の可能性が高まります。
ただし、熱赤外線イメージングは、大気透過効果や熱伝導などの物理的特性の影響を受けるため、熱赤外線シーンの複雑な詳細の正確な再構成が妨げられ、合成画像のフローターや不明瞭なエッジ特徴の問題として現れます。
これらの制限に対処するために、この論文では、Thermal3D-GS と呼ばれる物理誘起 3D ガウス スプラッティング法を紹介します。
Thermal3D-GS は、ニューラル ネットワークを使用して 3 次元媒体における大気透過効果と熱伝導をモデル化することから始まります。
さらに、温度一貫性制約が最適化目標に組み込まれ、熱赤外線画像の再構成精度が向上します。
さらに、私たちの方法の有効性を検証するために、Thermal Infrared Novel-view Synthesis Dataset (TI-NSD) と呼ばれるこの分野の最初の大規模ベンチマーク データセットが作成されます。
このデータセットは、屋内、屋外、UAV (無人航空機) シナリオをカバーする 20 の本格的な熱赤外線ビデオ シーンで構成され、合計 6,664 フレームの熱赤外線画像データになります。
本稿では、このデータセットに基づいて、Thermal3D-GS の有効性を実験的に検証します。
結果は、私たちの方法がベースライン方法よりも優れており、PSNR が 3.03 dB 向上し、ベースライン方法に存在する浮きや不明瞭なエッジ特徴の問題に大幅に対処していることを示しています。
データセットとコードベースは \href{https://github.com/mzzcdf/Thermal3DGS}{\textcolor{red}{Thermal3DGS}} でリリースされます。
要約(オリジナル)
Novel-view synthesis based on visible light has been extensively studied. In comparison to visible light imaging, thermal infrared imaging offers the advantage of all-weather imaging and strong penetration, providing increased possibilities for reconstruction in nighttime and adverse weather scenarios. However, thermal infrared imaging is influenced by physical characteristics such as atmospheric transmission effects and thermal conduction, hindering the precise reconstruction of intricate details in thermal infrared scenes, manifesting as issues of floaters and indistinct edge features in synthesized images. To address these limitations, this paper introduces a physics-induced 3D Gaussian splatting method named Thermal3D-GS. Thermal3D-GS begins by modeling atmospheric transmission effects and thermal conduction in three-dimensional media using neural networks. Additionally, a temperature consistency constraint is incorporated into the optimization objective to enhance the reconstruction accuracy of thermal infrared images. Furthermore, to validate the effectiveness of our method, the first large-scale benchmark dataset for this field named Thermal Infrared Novel-view Synthesis Dataset (TI-NSD) is created. This dataset comprises 20 authentic thermal infrared video scenes, covering indoor, outdoor, and UAV(Unmanned Aerial Vehicle) scenarios, totaling 6,664 frames of thermal infrared image data. Based on this dataset, this paper experimentally verifies the effectiveness of Thermal3D-GS. The results indicate that our method outperforms the baseline method with a 3.03 dB improvement in PSNR and significantly addresses the issues of floaters and indistinct edge features present in the baseline method. Our dataset and codebase will be released in \href{https://github.com/mzzcdf/Thermal3DGS}{\textcolor{red}{Thermal3DGS}}.
arxiv情報
| 著者 | Qian Chen,Shihao Shu,Xiangzhi Bai |
| 発行日 | 2024-09-12 13:46:53+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google