Dream to Drive: Model-Based Vehicle Control Using Analytic World Models

要約

微分可能なシミュレーターは、最近、自動運転車コントローラーをトレーニングするための大きな可能性を示しています。
それらを通過することができるため、それらはエンドツーエンドのトレーニングループに配置することができ、既知のダイナミクスがポリシーを学習するための有用な事前に変わり、環境の典型的なブラックボックスの仮定を削除します。
これまでのところ、これらのシステムはポリシーのトレーニングにのみ使用されてきました。
しかし、これは彼らが提供できるものの観点からの物語の終わりではありません。
ここでは、初めて、それらを使用して世界モデルを訓練します。
具体的には、次の状態予測因子、最適なプランナー、および最適な逆状態を学習できる3つの新しいタスクセットアップを提示します。
現在のアクションに関して次のシミュレータ状態の勾配を必要とする分析ポリシー勾配（APG）とは異なり、提案されたセットアップは、現在の状態に関して次の状態の勾配に依存しています。
このアプローチを分析ワールドモデル（AWM）と呼び、WayMaxシミュレーターでの計画に使用する方法など、アプリケーションを紹介します。
このようなシミュレーターで可能なことの限界を押し上げることとは別に、大規模なWaymoオープンモーションデータセットのパフォーマンスを増加させる改善されたトレーニングレシピを提供します。

要約(オリジナル)

Differentiable simulators have recently shown great promise for training autonomous vehicle controllers. Being able to backpropagate through them, they can be placed into an end-to-end training loop where their known dynamics turn into useful priors for the policy to learn, removing the typical black box assumption of the environment. So far, these systems have only been used to train policies. However, this is not the end of the story in terms of what they can offer. Here, for the first time, we use them to train world models. Specifically, we present three new task setups that allow us to learn next state predictors, optimal planners, and optimal inverse states. Unlike analytic policy gradients (APG), which requires the gradient of the next simulator state with respect to the current actions, our proposed setups rely on the gradient of the next state with respect to the current state. We call this approach Analytic World Models (AWMs) and showcase its applications, including how to use it for planning in the Waymax simulator. Apart from pushing the limits of what is possible with such simulators, we offer an improved training recipe that increases performance on the large-scale Waymo Open Motion dataset by up to 12% compared to baselines at essentially no additional cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google