Learning to predict 3D rotational dynamics from images of a rigid body with unknown mass distribution

要約

現実世界の多くの設定では、低次元の測定ができない場合でも、自由に回転する 3D 剛体の画像観察が利用できる場合があります。
ただし、画像データは高次元であるため、ダイナミクスを学習するために古典的な推定手法を使用することはできません。
剛体の画像からは、初角速度とともに物体がどのように回転するかを決定する物体内部の質量分布について何も明らかにならないため、標準的な深層学習手法の有用性も制限されています。
画像シーケンスから 3D 回転ダイナミクスを推定および予測するための、物理学に基づいたニューラル ネットワーク モデルを紹介します。
これは、個々の画像を $\mathbf{SO}(3)$ と同相の潜在表現にマッピングし、潜在ペアから角速度を計算し、ハミルトン運動方程式を使用して将来の潜在状態を予測する多段階予測パイプラインを使用してこれを実現します。
私たちは、未知の均一および不均一な質量分布を持つ立方体、プリズム、衛星などの回転物体の合成画像シーケンスの新しい回転剛体データセットに対するアプローチの有効性を実証します。

要約(オリジナル)

In many real-world settings, image observations of freely rotating 3D rigid bodies, may be available when low-dimensional measurements are not. However, the high-dimensionality of image data precludes the use of classical estimation techniques to learn the dynamics. The usefulness of standard deep learning methods is also limited because an image of a rigid body reveals nothing about the distribution of mass inside the body, which, together with initial angular velocity, is what determines how the body will rotate. We present a physics-informed neural network model to estimate and predict 3D rotational dynamics from image sequences. We achieve this using a multi-stage prediction pipeline that maps individual images to a latent representation homeomorphic to $\mathbf{SO}(3)$, computes angular velocities from latent pairs, and predicts future latent states using the Hamiltonian equations of motion. We demonstrate the efficacy of our approach on new rotating rigid-body datasets of sequences of synthetic images of rotating objects, including cubes, prisms and satellites, with unknown uniform and non-uniform mass distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google