Continuous 3D Perception Model with Persistent State

要約

幅広い 3D タスクを解決できる統合フレームワークを紹介します。
私たちのアプローチは、新しい観測ごとに状態表現を継続的に更新するステートフルリカレントモデルを特徴としています。
画像のストリームが与えられると、この進化する状態を使用して、新しい入力ごとにメートルスケールのポイントマップ (ピクセルごとの 3D ポイント) をオンライン形式で生成できます。
これらのポイントマップは共通の座標系内に存在し、新しい画像が到着すると更新される一貫した高密度のシーン再構成に蓄積できます。
CUT3R (Continuous Updating Transformer for 3D Reconstruction) と呼ばれる私たちのモデルは、現実世界のシーンの豊富な事前情報をキャプチャします。画像観察から正確なポイントマップを予測できるだけでなく、仮想の観察されていない領域を調査することで、シーンの目に見えない領域を推測することもできます。
ビュー。
私たちの方法はシンプルでありながら非常に柔軟であり、静的コンテンツと動的コンテンツの両方を含む、ビデオ ストリームまたは順序付けされていない写真コレクションなど、さまざまな長さの画像を自然に受け入れます。
私たちはさまざまな 3D/4D タスクでメソッドを評価し、それぞれのタスクで競争力のある、または最先端のパフォーマンスを実証します。
プロジェクトページ：https://cut3r.github.io/

要約(オリジナル)

We present a unified framework capable of solving a broad range of 3D tasks. Our approach features a stateful recurrent model that continuously updates its state representation with each new observation. Given a stream of images, this evolving state can be used to generate metric-scale pointmaps (per-pixel 3D points) for each new input in an online fashion. These pointmaps reside within a common coordinate system, and can be accumulated into a coherent, dense scene reconstruction that updates as new images arrive. Our model, called CUT3R (Continuous Updating Transformer for 3D Reconstruction), captures rich priors of real-world scenes: not only can it predict accurate pointmaps from image observations, but it can also infer unseen regions of the scene by probing at virtual, unobserved views. Our method is simple yet highly flexible, naturally accepting varying lengths of images that may be either video streams or unordered photo collections, containing both static and dynamic content. We evaluate our method on various 3D/4D tasks and demonstrate competitive or state-of-the-art performance in each. Project Page: https://cut3r.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google