Neural Implicit Representations for Physical Parameter Inference from a Single Video

要約

ニューラル ネットワークは最近、さまざまな物理システムを分析し、根底にあるダイナミクスを特定するために使用されています。
既存の方法は印象的な結果を達成しますが、トレーニング データに対する強い需要と、分布外のデータに対する一般化能力が弱いため、制限があります。
これらの制限を克服するために、この作業では、視覚的観察から直接識別できる動的シーン表現を取得するために、物理現象をモデル化するために外観モデリングのニューラル暗黙的表現をニューラル常微分方程式 (ODE) と組み合わせることを提案します。
私たちの提案したモデルは、いくつかのユニークな利点を兼ね備えています: (i) 大規模なトレーニング データセットを必要とする既存のアプローチとは対照的に、1 つのビデオのみから物理パラメーターを識別することができます。
(ii) ニューラル暗黙的表現の使用により、高解像度ビデオの処理と写真のようにリアルな画像の合成が可能になります。
(iii) 埋め込まれたニューラル ODE には、解釈可能な物理パラメーターの識別を可能にする既知のパラメトリック形式と、(iv) 状態空間での長期予測があります。
(v) さらに、物理パラメータを変更した新しいシーンの写実的なレンダリングが可能になります。

要約(オリジナル)

Neural networks have recently been used to analyze diverse physical systems and to identify the underlying dynamics. While existing methods achieve impressive results, they are limited by their strong demand for training data and their weak generalization abilities to out-of-distribution data. To overcome these limitations, in this work we propose to combine neural implicit representations for appearance modeling with neural ordinary differential equations (ODEs) for modelling physical phenomena to obtain a dynamic scene representation that can be identified directly from visual observations. Our proposed model combines several unique advantages: (i) Contrary to existing approaches that require large training datasets, we are able to identify physical parameters from only a single video. (ii) The use of neural implicit representations enables the processing of high-resolution videos and the synthesis of photo-realistic images. (iii) The embedded neural ODE has a known parametric form that allows for the identification of interpretable physical parameters, and (iv) long-term prediction in state space. (v) Furthermore, the photo-realistic rendering of novel scenes with modified physical parameters becomes possible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google