CROSS-GAiT: Cross-Attention-Based Multimodal Representation Fusion for Parametric Gait Adaptation in Complex Terrains

要約

我々は、クロスアテンションを使用して、直線加速度、角速度、共同作業などの視覚入力と時系列入力から得られる地形表現を融合する、四足ロボット用の新しいアルゴリズムである CROSS-GAiT を紹介します。
これらの融合された表現は、ロボットのステップの高さと腰の広がりを調整するために使用され、さまざまな地形条件に動的に応答する適応的な歩行を可能にします。
これらの地形表現は、マスクされたビジョン トランスフォーマー (ViT) エンコーダーを通じて視覚入力を処理し、拡張因果畳み込みエンコーダーを通じて時系列データを処理することによって生成されます。
次に、クロスアテンション メカニズムが各モダリティから最も関連性の高い機能を選択して統合し、地形の特性とロボットのダイナミクスを組み合わせて、より適切な情報に基づいた歩行調整を実現します。
CROSS-GAiT は、組み合わせた表現を使用して、変化する予測不可能な地形に応じて歩行パラメータを動的に調整します。
アスファルト、コンクリート、レンガ舗装、草、密集した植生、小石、砂利、砂など、さまざまな地形のデータに基づいて CROSS-GAiT をトレーニングします。
当社のアルゴリズムは一般化されており、目に見えない環境条件に適応して、リアルタイム ナビゲーションのパフォーマンスを向上させます。
CROSS-GAiT は Ghost Robotics Vision 60 ロボットに実装され、植生密度が高い複雑な地形、でこぼこ/不安定な表面、砂州、変形可能な基材などで広範囲にテストされました。IMU エネルギー密度が少なくとも 7.04% 減少し、
総共同作業量が 27.3% 削減され、これは最先端の方法と比較した場合、安定性の向上とエネルギー使用量の削減に直接相関します。
さらに、CROSS-GAiT は、4 つの複雑なシナリオにおいて、成功率が少なくとも 64.5% 向上し、目標に到達するまでの時間が 4.91% 短縮されたことを実証しています。
さらに、学習された表現は、地形分類タスクにおいて最先端のものよりも 4.48% 優れたパフォーマンスを示します。

要約(オリジナル)

We present CROSS-GAiT, a novel algorithm for quadruped robots that uses Cross Attention to fuse terrain representations derived from visual and time-series inputs, including linear accelerations, angular velocities, and joint efforts. These fused representations are used to adjust the robot’s step height and hip splay, enabling adaptive gaits that respond dynamically to varying terrain conditions. We generate these terrain representations by processing visual inputs through a masked Vision Transformer (ViT) encoder and time-series data through a dilated causal convolutional encoder. The cross-attention mechanism then selects and integrates the most relevant features from each modality, combining terrain characteristics with robot dynamics for better-informed gait adjustments. CROSS-GAiT uses the combined representation to dynamically adjust gait parameters in response to varying and unpredictable terrains. We train CROSS-GAiT on data from diverse terrains, including asphalt, concrete, brick pavements, grass, dense vegetation, pebbles, gravel, and sand. Our algorithm generalizes well and adapts to unseen environmental conditions, enhancing real-time navigation performance. CROSS-GAiT was implemented on a Ghost Robotics Vision 60 robot and extensively tested in complex terrains with high vegetation density, uneven/unstable surfaces, sand banks, deformable substrates, etc. We observe at least a 7.04% reduction in IMU energy density and a 27.3% reduction in total joint effort, which directly correlates with increased stability and reduced energy usage when compared to state-of-the-art methods. Furthermore, CROSS-GAiT demonstrates at least a 64.5% increase in success rate and a 4.91% reduction in time to reach the goal in four complex scenarios. Additionally, the learned representations perform 4.48% better than the state-of-the-art on a terrain classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google