Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models

要約

動的シーンの 3D 再構成はコンピュータ グラフィックスにおける長年の問題であり、利用可能な情報が少なくなるほど困難になります。
Shape-from-Template (SfT) 手法は、RGB 画像またはビデオ シーケンスからテンプレート ベースのジオメトリを再構築することを目的としており、通常のスマートフォンの録画など、深度情報のない単一の単眼カメラのみを利用することがよくあります。
残念ながら、既存の再構成方法は非物理的でノイズが多いか、最適化が遅いかのいずれかです。
この問題を解決するために、我々は、評価が速く、安定しており、正則化物理シミュレーションによりスムーズな再構成を生成する、事前トレーニングされたニューラル サロゲート モデルを使用した布地用の新しい SfT 再構成アルゴリズムを提案します。
シミュレートされたメッシュの微分可能なレンダリングにより、再構成とターゲット ビデオ シーケンスの間のピクセルごとの比較が可能になり、勾配ベースの最適化手順に使用して、形状情報だけでなく、ストレッチ、せん断、曲げ剛性などの物理パラメータも抽出できます。
布。
これにより、最先端の物理ベースの SfT アプローチである $\phi$-SfT と比較して、実行時間を 400 ～ 500 分の 1 に短縮しながら、正確で安定した滑らかな再構成ジオメトリを維持することができます。

要約(オリジナル)

3D reconstruction of dynamic scenes is a long-standing problem in computer graphics and increasingly difficult the less information is available. Shape-from-Template (SfT) methods aim to reconstruct a template-based geometry from RGB images or video sequences, often leveraging just a single monocular camera without depth information, such as regular smartphone recordings. Unfortunately, existing reconstruction methods are either unphysical and noisy or slow in optimization. To solve this problem, we propose a novel SfT reconstruction algorithm for cloth using a pre-trained neural surrogate model that is fast to evaluate, stable, and produces smooth reconstructions due to a regularizing physics simulation. Differentiable rendering of the simulated mesh enables pixel-wise comparisons between the reconstruction and a target video sequence that can be used for a gradient-based optimization procedure to extract not only shape information but also physical parameters such as stretching, shearing, or bending stiffness of the cloth. This allows to retain a precise, stable, and smooth reconstructed geometry while reducing the runtime by a factor of 400-500 compared to $\phi$-SfT, a state-of-the-art physics-based SfT approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google