Learning Interpretable Dynamics from Images of a Freely Rotating 3D Rigid Body

要約

現実世界の多くの設定では、低次元の測定ができない場合でも、衛星など、自由に回転する 3D 剛体の画像観察が利用できる場合があります。
ただし、画像データの高次元性により、ダイナミクスを学習するための古典的な推定手法の使用が妨げられ、解釈可能性の欠如により、標準的な深層学習手法の有用性が低下します。
この研究では、画像シーケンスから 3D 回転ダイナミクスを推定および予測するための、物理学に基づいたニューラル ネットワーク モデルを紹介します。
これは、個々の画像を $\mathbf{SO}(3)$ に同相な潜在表現にマッピングし、潜在ペアから角速度を計算し、次のハミルトン運動方程式を使用して将来の潜在状態を予測する多段階予測パイプラインを使用してこれを実現します。
ハミルトニアンの学習された表現。
均一および不均一な密度を持つ一連の回転立方体と直方体を含む新しい回転剛体データセットに対するアプローチの有効性を実証します。

要約(オリジナル)

In many real-world settings, image observations of freely rotating 3D rigid bodies, such as satellites, may be available when low-dimensional measurements are not. However, the high-dimensionality of image data precludes the use of classical estimation techniques to learn the dynamics and a lack of interpretability reduces the usefulness of standard deep learning methods. In this work, we present a physics-informed neural network model to estimate and predict 3D rotational dynamics from image sequences. We achieve this using a multi-stage prediction pipeline that maps individual images to a latent representation homeomorphic to $\mathbf{SO}(3)$, computes angular velocities from latent pairs, and predicts future latent states using the Hamiltonian equations of motion with a learned representation of the Hamiltonian. We demonstrate the efficacy of our approach on a new rotating rigid-body dataset with sequences of rotating cubes and rectangular prisms with uniform and non-uniform density.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google