Neural Circuit Architectural Priors for Quadruped Locomotion

要約

四足歩行への学習ベースのアプローチでは、完全接続 MLP などの汎用ポリシー アーキテクチャが一般的に採用されています。
このようなアーキテクチャには帰納的バイアスがほとんど含まれないため、実際には、報酬、トレーニング カリキュラム、模倣データ、または軌道ジェネレーターの形で事前分布を組み込むのが一般的です。
自然界では、動物は神経系の構造という形で先天性を持って生まれます。これは、生来の能力と効率的な学習を与えるために進化によって形作られてきました。
たとえば、馬は生まれてから数時間以内に歩くことができ、練習すればすぐに上達します。
このようなアーキテクチャ事前分布は、AI の ANN アーキテクチャでも役立ちます。
この研究では、哺乳類の四肢と脊髄の神経回路に基づいた、四足歩行のための生物学的にインスピレーションを受けた ANN アーキテクチャの利点を調査します。
私たちのアーキテクチャは、使用するデータとパラメーターを桁違いに減らしながら、優れた初期パフォーマンスと MLP に匹敵する最終パフォーマンスを実現します。
また、私たちのアーキテクチャは、タスクのバリエーションに対するより優れた一般化を示し、標準的なシミュレーションからリアルへの手法を使用せずに物理ロボットへの展開も可能にします。
この研究は、神経回路が運動のための貴重な構造的事前情報を提供できることを示し、他の感覚運動スキルにおける将来の研究を奨励します。

要約(オリジナル)

Learning-based approaches to quadruped locomotion commonly adopt generic policy architectures like fully connected MLPs. As such architectures contain few inductive biases, it is common in practice to incorporate priors in the form of rewards, training curricula, imitation data, or trajectory generators. In nature, animals are born with priors in the form of their nervous system’s architecture, which has been shaped by evolution to confer innate ability and efficient learning. For instance, a horse can walk within hours of birth and can quickly improve with practice. Such architectural priors can also be useful in ANN architectures for AI. In this work, we explore the advantages of a biologically inspired ANN architecture for quadruped locomotion based on neural circuits in the limbs and spinal cord of mammals. Our architecture achieves good initial performance and comparable final performance to MLPs, while using less data and orders of magnitude fewer parameters. Our architecture also exhibits better generalization to task variations, even admitting deployment on a physical robot without standard sim-to-real methods. This work shows that neural circuits can provide valuable architectural priors for locomotion and encourages future work in other sensorimotor skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google