StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams

要約

非調整されたビデオストリームからの動的3Dシーンのリアルタイム再構成は、多くの現実世界アプリケーションにとって重要です。
ただし、既存の方法は、3つの重要な課題に共同で対処するのに苦労しています。1）無効化されていない入力をリアルタイムで処理し、2）動的シーンの進化を正確にモデル化し、3）長期の安定性と計算効率を維持します。
この目的のために、任意の長さの非調整されたビデオストリームをオンライン的に動的な3Dガウススプラッティング（3DG）表現に変換する最初の完全なフィードフォワードフレームワークであるStreamSplatを紹介し、時間的に局所的な観測からシーンのダイナミクスを回復できます。
2つの重要な技術革新を提案します。3DGS位置予測の静的エンコーダの確率的サンプリングメカニズムと、堅牢で効率的な動的モデリングを可能にする動的デコーダーの双方向変形フィールドです。
静的および動的なベンチマークでの広範な実験は、Streamsplatが再構築品質と動的シーンモデリングの両方で以前の作業を常に上回る一方で、任意の長いビデオストリームのオンライン再構築をユニークにサポートすることを示しています。
コードとモデルはhttps://github.com/nickwzk/streamsplatで入手できます。

要約(オリジナル)

Real-time reconstruction of dynamic 3D scenes from uncalibrated video streams is crucial for numerous real-world applications. However, existing methods struggle to jointly address three key challenges: 1) processing uncalibrated inputs in real time, 2) accurately modeling dynamic scene evolution, and 3) maintaining long-term stability and computational efficiency. To this end, we introduce StreamSplat, the first fully feed-forward framework that transforms uncalibrated video streams of arbitrary length into dynamic 3D Gaussian Splatting (3DGS) representations in an online manner, capable of recovering scene dynamics from temporally local observations. We propose two key technical innovations: a probabilistic sampling mechanism in the static encoder for 3DGS position prediction, and a bidirectional deformation field in the dynamic decoder that enables robust and efficient dynamic modeling. Extensive experiments on static and dynamic benchmarks demonstrate that StreamSplat consistently outperforms prior works in both reconstruction quality and dynamic scene modeling, while uniquely supporting online reconstruction of arbitrarily long video streams. Code and models are available at https://github.com/nickwzk/StreamSplat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google