MoDex: Planning High-Dimensional Dexterous Control via Learning Neural Hand Models

要約

高次元の行動空間で手を制御することは長年の課題でしたが、人間は本来器用な作業を簡単に実行できます。
この論文では、人間の身体的認知からインスピレーションを得て、器用な手を学習可能なシステムとして再考します。
具体的には、手の動きの動的特性を捕捉するためにニューラルハンドモデルを採用するフレームワークである MoDex を紹介します。
モデルに基づいて、トレーニングと推論の両方で効率性を示す双方向計画手法が開発されます。
このメソッドはさらに大規模な言語モデルと統合され、「シザーハンド」や「ロックアンドロール」などのさまざまなジェスチャーを生成します。
さらに、理論分析と実証実験の両方で裏付けられたように、システムダイナミクスを事前学習済みハンドモデルと外部モデルに分解するとデータ効率が向上することを示します。
追加の視覚化結果は https://tongwu19.github.io/MoDex で入手できます。

要約(オリジナル)

Controlling hands in the high-dimensional action space has been a longstanding challenge, yet humans naturally perform dexterous tasks with ease. In this paper, we draw inspiration from the human embodied cognition and reconsider dexterous hands as learnable systems. Specifically, we introduce MoDex, a framework which employs a neural hand model to capture the dynamical characteristics of hand movements. Based on the model, a bidirectional planning method is developed, which demonstrates efficiency in both training and inference. The method is further integrated with a large language model to generate various gestures such as “Scissorshand’ and “Rock\&Roll.’ Moreover, we show that decomposing the system dynamics into a pretrained hand model and an external model improves data efficiency, as supported by both theoretical analysis and empirical experiments. Additional visualization results are available at https://tongwu19.github.io/MoDex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google