Tiny Reinforcement Learning for Quadruped Locomotion using Decision Transformers

要約

リソースに制約のあるロボット プラットフォームは、捜索救助アプリケーションなどのロボット紛失のリスクや、群れロボット工学などの多数のデバイスが必要なため、低コストのハードウェアの代替品が必要なタスクに特に役立ちます。
このため、これらの超低コストロボットプラットフォームのより低い計算能力とより小さいメモリ容量によって課される制約に強化学習技術を適応させるメカニズムを見つけることが重要です。
私たちは、リソースに制約のあるロボット プラットフォームに模倣学習を展開できるようにする方法を提案することで、このニーズに対処しようとしています。
ここでは、模倣学習の問題を条件付きシーケンス モデリング タスクとしてキャストし、カスタム報酬で強化された専門家のデモンストレーションを使用して意思決定変換器をトレーニングします。
次に、量子化や枝刈りなどのソフトウェア最適化スキームを使用して、結果の生成モデルを圧縮します。
強化学習用に設計された現実的な物理シミュレーション環境である Isaac Gym を使用して、シミュレーションでメソッドをテストします。
私たちは、リソースに制約のある四足ロボットである Bittle に対して、私たちの方法が自然に見える歩行を実現することを経験的に示しています。
また、複数のシミュレーションを実行して、モデルのパフォーマンスに対する枝刈りと量子化の影響を示します。
私たちの結果は、量子化 (4 ビットまで) と枝刈りにより、競争力のある報酬を維持しながらモデル サイズを約 30\% 削減し、リソースに制約のあるシステムにモデルを展開できることを示しています。

要約(オリジナル)

Resource-constrained robotic platforms are particularly useful for tasks that require low-cost hardware alternatives due to the risk of losing the robot, like in search-and-rescue applications, or the need for a large number of devices, like in swarm robotics. For this reason, it is crucial to find mechanisms for adapting reinforcement learning techniques to the constraints imposed by lower computational power and smaller memory capacities of these ultra low-cost robotic platforms. We try to address this need by proposing a method for making imitation learning deployable onto resource-constrained robotic platforms. Here we cast the imitation learning problem as a conditional sequence modeling task and we train a decision transformer using expert demonstrations augmented with a custom reward. Then, we compress the resulting generative model using software optimization schemes, including quantization and pruning. We test our method in simulation using Isaac Gym, a realistic physics simulation environment designed for reinforcement learning. We empirically demonstrate that our method achieves natural looking gaits for Bittle, a resource-constrained quadruped robot. We also run multiple simulations to show the effects of pruning and quantization on the performance of the model. Our results show that quantization (down to 4 bits) and pruning reduce model size by around 30\% while maintaining a competitive reward, making the model deployable in a resource-constrained system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google