Model-Based Control with Sparse Neural Dynamics

要約

ディープ ニューラル ネットワーク (DNN) を使用して観察から予測モデルを学習することは、現実世界の多くの計画と制御の問題に対する有望な新しいアプローチです。
ただし、一般的な DNN は効果的な計画を立てるには構造化されていないため、現在の制御方法は通常、広範なサンプリングまたは局所勾配降下法に依存しています。
この論文では、効率的な最適化アルゴリズムに適した統合モデル学習と予測制御のための新しいフレームワークを提案します。
具体的には、システムダイナミクスの ReLU ニューラル モデルから開始し、予測精度の損失を最小限に抑えながら、冗長なニューロンを削除することでモデルを徐々にスパース化します。
この離散スパース化プロセスは連続問題として近似され、モデル アーキテクチャと重みパラメータの両方のエンドツーエンドの最適化が可能になります。
その後、スパース化されたモデルは、ニューロンの活性化をバイナリ変数として表し、効率的な分枝限定アルゴリズムを採用する混合整数予測コントローラーによって使用されます。
私たちのフレームワークは、単純な多層パーセプトロンから複雑なグラフ ニューラル ダイナミクスまで、さまざまな DNN に適用できます。
オブジェクトの押し込み、合成オブジェクトの並べ替え、変形可能なオブジェクトの操作など、複雑な接触ダイナミクスを伴うタスクを効率的に処理できます。
数値実験とハードウェア実験により、積極的なスパース化にもかかわらず、私たちのフレームワークが既存の最先端の手法よりも優れた閉ループ パフォーマンスを実現できることが示されています。

要約(オリジナル)

Learning predictive models from observations using deep neural networks (DNNs) is a promising new approach to many real-world planning and control problems. However, common DNNs are too unstructured for effective planning, and current control methods typically rely on extensive sampling or local gradient descent. In this paper, we propose a new framework for integrated model learning and predictive control that is amenable to efficient optimization algorithms. Specifically, we start with a ReLU neural model of the system dynamics and, with minimal losses in prediction accuracy, we gradually sparsify it by removing redundant neurons. This discrete sparsification process is approximated as a continuous problem, enabling an end-to-end optimization of both the model architecture and the weight parameters. The sparsified model is subsequently used by a mixed-integer predictive controller, which represents the neuron activations as binary variables and employs efficient branch-and-bound algorithms. Our framework is applicable to a wide variety of DNNs, from simple multilayer perceptrons to complex graph neural dynamics. It can efficiently handle tasks involving complicated contact dynamics, such as object pushing, compositional object sorting, and manipulation of deformable objects. Numerical and hardware experiments show that, despite the aggressive sparsification, our framework can deliver better closed-loop performance than existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google