ReMatching Dynamic Reconstruction Flow

要約

画像入力から動的シーンを再構築することは、多くのダウンストリームアプリケーションを備えた基本的なコンピュータービジョンタスクです。
最近の進歩にもかかわらず、既存のアプローチは、目に見えない視点やタイムスタンプから高品質の再構築を達成するのに苦労しています。
この作業では、変形前の再構成モデ​​ルを組み込むことで再構築品質を改善するように設計された再戦フレームワークを紹介します。
私たちのアプローチは、速度フィールドベースのプライアーを提唱しています。これは、既存の動的再構成パイプラインをシームレスに補足できる一致手順を提案します。
フレームワークは非常に適応性があり、さまざまな動的表現に適用できます。
さらに、複数のタイプのモデルプライアーの統合をサポートし、より単純なモデルプライアーを組み合わせてより複雑なクラスを作成できるようにします。
合成と現実世界の動的シーンの両方を含む人気のあるベンチマークに関する私たちの評価は、私たちのアプローチで現在の最先端の方法を増強することで、再構成の精度の明確な改善につながることを示しています。

要約(オリジナル)

Reconstructing a dynamic scene from image inputs is a fundamental computer vision task with many downstream applications. Despite recent advancements, existing approaches still struggle to achieve high-quality reconstructions from unseen viewpoints and timestamps. This work introduces the ReMatching framework, designed to improve reconstruction quality by incorporating deformation priors into dynamic reconstruction models. Our approach advocates for velocity-field based priors, for which we suggest a matching procedure that can seamlessly supplement existing dynamic reconstruction pipelines. The framework is highly adaptable and can be applied to various dynamic representations. Moreover, it supports integrating multiple types of model priors and enables combining simpler ones to create more complex classes. Our evaluations on popular benchmarks involving both synthetic and real-world dynamic scenes demonstrate that augmenting current state-of-the-art methods with our approach leads to a clear improvement in reconstruction accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google