MonoForce: Learnable Image-conditioned Physics Engine

要約

オンボードカメラの画像からの大まかなオフロード地形でのロボット軌跡の予測のための新しいモデルを提案します。
このモデルは、エンドツーエンドの微分可能であるため、大規模なデータから学習する能力を維持しながら、物理学を認識しているニューラルシンボリック層を通じて古典力学の法則を実施します。
提案されたハイブリッドモデルは、ロボットとテレインの相互作用力を神経系シンボリック層と予測するブラックボックスコンポーネントを統合します。
このレイヤーには、地形との接触点でこれらの力を照会することにより、ロボットの軌跡を計算する微分可能な物理エンジンが含まれています。
提案されているアーキテクチャは、かなりの幾何学的および物理学的事前で構成されているため、結果として得られるモデルは、$ 10^4 $軌道を1秒あたり10ドル4ドルの軌道に供給する実際の画像に条件付けられた学習可能な物理エンジンとも見なすことができます。
このアーキテクチャは、SIMからリアルのギャップを減らし、分散分布の感度を緩和することを主張し、経験的に実証します。
迅速なシミュレーション速度と組み合わせて、差別化性により、モデルの予測制御、軌跡撮影、監視および強化学習またはスラムなど、さまざまなアプリケーションにモデルが適切に適用されます。
コードとデータは公開されています。

要約(オリジナル)

We propose a novel model for the prediction of robot trajectories on rough offroad terrain from the onboard camera images. This model enforces the laws of classical mechanics through a physics-aware neural symbolic layer while preserving the ability to learn from large-scale data as it is end-to-end differentiable. The proposed hybrid model integrates a black-box component that predicts robot-terrain interaction forces with a neural-symbolic layer. This layer includes a differentiable physics engine that computes the robot’s trajectory by querying these forces at the points of contact with the terrain. As the proposed architecture comprises substantial geometrical and physics priors, the resulting model can also be seen as a learnable physics engine conditioned on real images that delivers $10^4$ trajectories per second. We argue and empirically demonstrate that this architecture reduces the sim-to-real gap and mitigates out-of-distribution sensitivity. The differentiability, in conjunction with the rapid simulation speed, makes the model well-suited for various applications including model predictive control, trajectory shooting, supervised and reinforcement learning or SLAM. The codes and data are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google