Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video

要約

単一の 3D ビデオから流体の隠れた特性を推測し、新しいシーンで観察された流体をシミュレートできる物理シミュレーション用の転移学習フレームワークである潜在直感物理学を紹介します。
私たちの重要な洞察は、基礎となる粒子状態に条件付けされた学習可能な事前分布から引き出された潜在的な特徴を使用して、目に見えない複雑な物理的特性を捕捉することです。
これを達成するために、視覚的観察を与えられたパラメータ化された事前学習器を訓練して、逆グラフィックスの視覚的事後を近似させます。粒子状態と視覚事後は両方とも、学習されたニューラル レンダラーから取得されます。
収束された事前学習器は確率的物理エンジンに組み込まれており、実際の物理パラメーターの知識がなくても、目に見えない幾何学形状、境界、ダイナミクスに関する新しいシミュレーションを実行できます。
私たちはモデルを 3 つの方法で検証します: (i) 学習した視覚世界物理学を使用した新しいシーン シミュレーション、(ii) 観察された流体力学の将来予測、および (iii) 教師付き粒子シミュレーション。
私たちのモデルは、3 つのタスクすべてで優れたパフォーマンスを示しています。

要約(オリジナル)

We introduce latent intuitive physics, a transfer learning framework for physics simulation that can infer hidden properties of fluids from a single 3D video and simulate the observed fluid in novel scenes. Our key insight is to use latent features drawn from a learnable prior distribution conditioned on the underlying particle states to capture the invisible and complex physical properties. To achieve this, we train a parametrized prior learner given visual observations to approximate the visual posterior of inverse graphics, and both the particle states and the visual posterior are obtained from a learned neural renderer. The converged prior learner is embedded in our probabilistic physics engine, allowing us to perform novel simulations on unseen geometries, boundaries, and dynamics without knowledge of the true physical parameters. We validate our model in three ways: (i) novel scene simulation with the learned visual-world physics, (ii) future prediction of the observed fluid dynamics, and (iii) supervised particle simulation. Our model demonstrates strong performance in all three tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google