Guided Decoding for Robot On-line Motion Generation and Adaption

投稿日: 2024年10月14日 作成者: jarxiv

要約

我々は、障害物や新たな経由点にオンラインで適応できる複雑な設定において、自由度の高いロボットアームのための新しいモーション生成アプローチを提案します。
デモンストレーションから学習することで、ロボットがデモンストレーションされた軌跡から学習して一般化できるようにすることで、新しいタスクへの迅速な適応が促進され、蓄積された専門知識の活用が最適化されます。
私たちは、デモンストレーションとして使用されるシミュレートされた軌跡の大規模なデータセット上で、条件付き変分オートエンコーダーに基づくトランスフォーマー アーキテクチャをトレーニングします。
私たちのアーキテクチャは、これらのデモンストレーションから重要なモーション生成スキルを学習し、それらを補助的なタスクに合わせて適応させることができます。
さらに、私たちのアプローチは自動回帰モーション生成を実装し、たとえば経由点や速度と加速度の制約の導入または変更などのリアルタイムの適応を可能にします。
ビーム探索を使用して、モーション ジェネレーターをさらに適応させて障害物を回避する方法を提案します。
私たちのモデルがさまざまな初期点と目標点からモーションを生成することに成功し、さまざまなロボット プラットフォーム間で複雑なタスクをナビゲートする軌道を生成できることを示します。

要約(オリジナル)

We present a novel motion generation approach for robot arms, with high degrees of freedom, in complex settings that can adapt online to obstacles or new via points. Learning from Demonstration facilitates rapid adaptation to new tasks and optimizes the utilization of accumulated expertise by allowing robots to learn and generalize from demonstrated trajectories. We train a transformer architecture, based on conditional variational autoencoder, on a large dataset of simulated trajectories used as demonstrations. Our architecture learns essential motion generation skills from these demonstrations and is able to adapt them to meet auxiliary tasks. Additionally, our approach implements auto-regressive motion generation to enable real-time adaptations, as, for example, introducing or changing via-points, and velocity and acceleration constraints. Using beam search, we present a method for further adaption of our motion generator to avoid obstacles. We show that our model successfully generates motion from different initial and target points and that is capable of generating trajectories that navigate complex tasks across different robotic platforms.

arxiv情報

著者 Nutan Chen,Botond Cseke,Elie Aljalbout,Alexandros Paraschos,Marvin Alles,Patrick van der Smagt
発行日 2024-10-11 07:57:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Guided Decoding for Robot On-line Motion Generation and Adaption はコメントを受け付けていません

Concurrent-Learning Based Relative Localization in Shape Formation of Robot Swarms

投稿日: 2024年10月14日 作成者: jarxiv

要約

この論文では、外部位置特定システムが利用できない環境における大規模なロボット群の形状形成の問題に取り組みます。
オンボード測定のみでこのタスクを効果的に達成することはまだほとんど研究されておらず、いくつかの実用的な課題に直面しています。
この困難な問題を解決するために、次の新しい結果を提案します。
まず、隣接するロボット間の相対位置を推定するために、同時学習ベースの推定器を提案する。
最小二乗推定器などの古典的なもので必要とされる持続的な励起条件を緩和します。
次に、形状の位置を決定するために有限時間合意プロトコルを導入します。
これは、各ロボットとランダムに割り当てられたシード ロボットの間の相対位置を推定することによって実現されます。
シード 1 の初期位置は、形状の位置をマークします。
第三に、相対位置特定の理論的結果に基づいて、新しい動作ベースの制御戦略が考案されます。
この戦略は、ロボットの大規模なグループの適応的な形状形成を可能にするだけでなく、ロボット間の相対的な位置特定の観察可能性も高めます。
数値シミュレーション結果は、最先端の戦略と比較して、提案された戦略のパフォーマンスを検証するために提供されます。
さらに、実際のロボットでの屋外実験により、私たちの方法の実際的な有効性と堅牢性がさらに実証されています。

要約(オリジナル)

In this paper, we address the shape formation problem for massive robot swarms in environments where external localization systems are unavailable. Achieving this task effectively with solely onboard measurements is still scarcely explored and faces some practical challenges. To solve this challenging problem, we propose the following novel results. Firstly, to estimate the relative positions among neighboring robots, a concurrent-learning based estimator is proposed. It relaxes the persistent excitation condition required in the classical ones such as least-square estimator. Secondly, we introduce a finite-time agreement protocol to determine the shape location. This is achieved by estimating the relative position between each robot and a randomly assigned seed robot. The initial position of the seed one marks the shape location. Thirdly, based on the theoretical results of the relative localization, a novel behavior-based control strategy is devised. This strategy not only enables adaptive shape formation of large group of robots but also enhances the observability of inter-robot relative localization. Numerical simulation results are provided to verify the performance of our proposed strategy compared to the state-of-the-art ones. Additionally, outdoor experiments on real robots further demonstrate the practical effectiveness and robustness of our methods.

arxiv情報

著者 Jinhu Lü,Kunrui Ze,Shuoyu Yue,Kexin Liu,Wei Wang,Guibin Sun
発行日 2024-10-11 07:59:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.MA, cs.RO | Concurrent-Learning Based Relative Localization in Shape Formation of Robot Swarms はコメントを受け付けていません

Dual-AEB: Synergizing Rule-Based and Multimodal Large Language Models for Effective Emergency Braking

投稿日: 2024年10月14日 作成者: jarxiv

要約

自動緊急ブレーキ (AEB) システムは、自動運転車の乗員の安全を確保する上で重要なコンポーネントです。
従来の AEB システムは、主にクローズドセット認識モジュールに依存して交通状況を認識し、衝突リスクを評価します。
オープン シナリオでの AEB システムの適応性を強化するために、包括的なシーン理解のための高度なマルチモーダル大規模言語モデル (MLLM) と、迅速な応答時間を確保するための従来のルールベースの高速 AEB を組み合わせたシステムであるデュアル AEB を提案します。
私たちの知る限り、デュアル AEB は、AEB システム内に MLLM を組み込む最初の方法です。
広範な実験を通じて、私たちはこの方法の有効性を検証しました。
ソース コードは https://github.com/ChipsICU/Dual-AEB で入手できます。

要約(オリジナル)

Automatic Emergency Braking (AEB) systems are a crucial component in ensuring the safety of passengers in autonomous vehicles. Conventional AEB systems primarily rely on closed-set perception modules to recognize traffic conditions and assess collision risks. To enhance the adaptability of AEB systems in open scenarios, we propose Dual-AEB, a system combines an advanced multimodal large language model (MLLM) for comprehensive scene understanding and a conventional rule-based rapid AEB to ensure quick response times. To the best of our knowledge, Dual-AEB is the first method to incorporate MLLMs within AEB systems. Through extensive experimentation, we have validated the effectiveness of our method. The source code will be available at https://github.com/ChipsICU/Dual-AEB.

arxiv情報

著者 Wei Zhang,Pengfei Li,Junli Wang,Bingchuan Sun,Qihao Jin,Guangjun Bao,Shibo Rui,Yang Yu,Wenchao Ding,Peng Li,Yilun Chen
発行日 2024-10-11 08:31:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Dual-AEB: Synergizing Rule-Based and Multimodal Large Language Models for Effective Emergency Braking はコメントを受け付けていません

TactileAR: Active Tactile Pattern Reconstruction

投稿日: 2024年10月14日 作成者: jarxiv

要約

高解像度 (HR) 接触面情報は、ロボットによる把握や正確な操作作業に不可欠です。
ただし、現在のタキセルベースのセンサーで HR の触覚情報を取得することは依然として課題です。
この論文では、低解像度 (LR) 触覚センサーを利用して、接触面の局所的で高密度な HR 表現を再構築することに焦点を当てます。
特に、ガウス三軸触覚センサー劣化モデルを構築し、カルマンフィルターに基づいた触覚パターン再構成フレームワークを提案します。
このフレームワークにより、収集された LR 触覚シーケンスを使用して 2 次元 HR 接触表面形状の再構築が可能になります。
さらに、復元効率を高めるための積極的な探査戦略を提案します。
既存の事前情報に基づくアプローチと比較して、提案された方法を現実世界のシナリオで評価します。
実験結果は、提案されたアプローチの効率性を確認し、複雑な接触面形状の満足のいく再構成を示しています。
コード: https://github.com/wmtlab/tactileAR

要約(オリジナル)

High-resolution (HR) contact surface information is essential for robotic grasping and precise manipulation tasks. However, it remains a challenge for current taxel-based sensors to obtain HR tactile information. In this paper, we focus on utilizing low-resolution (LR) tactile sensors to reconstruct the localized, dense, and HR representation of contact surfaces. In particular, we build a Gaussian triaxial tactile sensor degradation model and propose a tactile pattern reconstruction framework based on the Kalman filter. This framework enables the reconstruction of 2-D HR contact surface shapes using collected LR tactile sequences. In addition, we present an active exploration strategy to enhance the reconstruction efficiency. We evaluate the proposed method in real-world scenarios with comparison to existing prior-information-based approaches. Experimental results confirm the efficiency of the proposed approach and demonstrate satisfactory reconstructions of complex contact surface shapes. Code: https://github.com/wmtlab/tactileAR

arxiv情報

著者 Bing Wu,Qian Liu
発行日 2024-10-11 08:35:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | TactileAR: Active Tactile Pattern Reconstruction はコメントを受け付けていません

Data-driven Feedback Control of Lattice Structures with Localized Actuation and Sensing

投稿日: 2024年10月14日 作成者: jarxiv

要約

個別の構成要素から格子を組み立てることにより、望ましい質量対剛性比を備えた、大型で異種の、簡単に再構成可能なオブジェクトを構成することができます。
このタイプの建築システムは、個別のエラー修正コンポーネントで構成されるため、デジタル マテリアルとも呼ばれます。
研究者らは、離散格子構造の再構成可能で質量効率の高い特性を利用するさまざまな能動構造、さらにはロボットシステムを実証してきました。
ただし、既存の文献では主に開ループ制御戦略が使用されており、提示されたシステムのパフォーマンスが制限されています。
この論文では、システムダイナミクスのリアルタイム測定を活用した、デジタル格子構造のフィードバック制御への新しいアプローチを紹介します。
格子構造を駆動するための新しい手段を構成する駆動ボクセルを紹介します。
私たちの制御方法は、線形二次レギュレーターおよびクープマン モデル予測制御と組み合わせた拡張動的モード分解アルゴリズムに基づいています。
私たちのアプローチの主な利点は、システムの構造に関する事前の知識を必要とせず、純粋にデータ駆動型であることにあります。
カスタム構築された柔軟な格子ビームを使用した実際の実験を通じて開発された方法を説明し、最小限のセンシングおよび作動リソースでもさまざまなタスクを達成できるその能力を示します。
特に、外乱減衰を伴う安定化と基準追跡という 2 つの問題に取り組みます。

要約(オリジナル)

Assembling lattices from discrete building blocks enables the composition of large, heterogeneous, and easily reconfigurable objects with desirable mass-to-stiffness ratios. This type of building system may also be referred to as a digital material, as it is constituted from discrete, error-correcting components. Researchers have demonstrated various active structures and even robotic systems that take advantage of the reconfigurable, mass-efficient properties of discrete lattice structures. However, the existing literature has predominantly used open-loop control strategies, limiting the performance of the presented systems. In this paper, we present a novel approach to feedback control of digital lattice structures, leveraging real-time measurements of the system dynamics. We introduce an actuated voxel which constitutes a novel means for actuation of lattice structures. Our control method is based on the Extended Dynamical Mode Decomposition algorithm in conjunction with the Linear Quadratic Regulator and the Koopman Model Predictive Control. The key advantage of our approach lies in its purely data-driven nature, without the need for any prior knowledge of a system’s structure. We illustrate the developed method via real experiments with custom-built flexible lattice beam, showing its ability to accomplish various tasks even with minimal sensing and actuation resources. In particular, we address two problems: stabilization together with disturbance attenuation, and reference tracking.

arxiv情報

著者 Dominik Fischer,Loi Do,Miana Smith,Jiří Zemánek
発行日 2024-10-11 08:46:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Data-driven Feedback Control of Lattice Structures with Localized Actuation and Sensing はコメントを受け付けていません

Making a Mess and Getting Away with it: Traveling Salesperson Problem with Circle Placement for Dubins Vehicles

投稿日: 2024年10月14日 作成者: jarxiv

要約

この論文では、エージェントが各ノードを訪問すると、その隣に円形の障害物を配置する、巡回販売員問題のバリエーションを検討します。
サークル配置による巡回販売員問題 (TSP-CP) と呼ばれるこの目的は、有効なクローズド ツアーが存在する障害物の半径を最大化し、ツアー コストを最小限に抑えることです。
TSP-CP は、収穫、採石、露天掘りなどのさまざまな現実世界のアプリケーションに関連性があります。
我々は、TSP-CP、Dubins 車両用に調整されたそのバリアント、および自己削除グラフ (TSP-SD) の巡回販売員問題として知られる重要なサブ問題に対処するためのいくつかの新しいソルバーを提案します。
私たちの広範な実験結果は、提案されたソルバーが、関連する問題に関して現在の最先端のソルバーよりもソリューションの品質において優れていることを示しています。

要約(オリジナル)

This paper explores a variation of the Traveling Salesperson Problem, where the agent places a circular obstacle next to each node once it visits it. Referred to as the Traveling Salesperson Problem with Circle Placement (TSP-CP), the aim is to maximize the obstacle radius for which a valid closed tour exists and then minimize the tour cost. The TSP-CP finds relevance in various real-world applications, such as harvesting, quarrying, and open-pit mining. We propose several novel solvers to address the TSP-CP, its variant tailored for Dubins vehicles, and a crucial subproblem known as the Traveling Salesperson Problem on self-deleting graphs (TSP-SD). Our extensive experimental results show that the proposed solvers outperform the current state-of-the-art on related problems in solution quality.

arxiv情報

著者 David Woller,Masoumeh Mansouri,Miroslav Kulich
発行日 2024-10-11 08:47:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Making a Mess and Getting Away with it: Traveling Salesperson Problem with Circle Placement for Dubins Vehicles はコメントを受け付けていません

Robots Can Multitask Too: Integrating a Memory Architecture and LLMs for Enhanced Cross-Task Robot Action Generation

投稿日: 2024年10月14日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、ロボットの知覚と身体能力に基づく LLM の常識的推論を基礎付けるために、ロボット アプリケーションで最近使用されています。
ヒューマノイド ロボットでは、特にロボットが以前のタスクの状態、環境の状態、実行されたアクションを記憶する必要があるマルチタスクのセットアップにおいて、記憶は現実世界の具体化を促進し、長期的なインタラクティブ機能を促進する上で重要な役割を果たします。
この論文では、ロボットがタスク間を効果的に切り替えながら、クロスタスクのロボット動作を生成するために LLM を使用した記憶プロセスを組み込むことに取り組みます。
私たちが提案する二層アーキテクチャは 2 つの LLM を特徴としており、推論と指示に従うという補完的なスキルを活用し、人間の認知からインスピレーションを得た記憶モデルと組み合わせています。
私たちの結果は、5 つのロボット タスクのベースラインと比較してパフォーマンスが大幅に向上したことを示しており、メモリと LLM を統合してロボットの動作と認識を組み合わせて適応的なタスクを実行する可能性を示しています。

要約(オリジナル)

Large Language Models (LLMs) have been recently used in robot applications for grounding LLM common-sense reasoning with the robot’s perception and physical abilities. In humanoid robots, memory also plays a critical role in fostering real-world embodiment and facilitating long-term interactive capabilities, especially in multi-task setups where the robot must remember previous task states, environment states, and executed actions. In this paper, we address incorporating memory processes with LLMs for generating cross-task robot actions, while the robot effectively switches between tasks. Our proposed dual-layered architecture features two LLMs, utilizing their complementary skills of reasoning and following instructions, combined with a memory model inspired by human cognition. Our results show a significant improvement in performance over a baseline of five robotic tasks, demonstrating the potential of integrating memory with LLMs for combining the robot’s action and perception for adaptive task execution.

arxiv情報

著者 Hassan Ali,Philipp Allgeuer,Carlo Mazzola,Giulia Belgiovine,Burak Can Kaplan,Lukáš Gajdošech,Stefan Wermter
発行日 2024-10-11 08:58:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Robots Can Multitask Too: Integrating a Memory Architecture and LLMs for Enhanced Cross-Task Robot Action Generation はコメントを受け付けていません

Compact Multi-Object Placement Using Adjacency-Aware Reinforcement Learning

投稿日: 2024年10月14日 作成者: jarxiv

要約

不規則な形状の物体を正確に配置するには、熟練したロボット システムが必要です。
敏感な上面と固定された近傍セットを持つオブジェクトの操作は特に困難です。
表面の損傷を避けるために、ロボットはそれらを側面から掴む必要があり、配置中には、物理​​的なグリッパーの範囲を考慮しながら、隣接するオブジェクトとの空間関係を維持する必要があります。
本研究では、オブジェクトを可能な限り近づけて配置するためのエンドエフェクタの動作を生成する強化学習に基づいてエージェントを学習するフレームワークを提案します。
配置中に、エージェントは衝突を回避しながら、オブジェクトの特定のレイアウトで定義された隣接オブジェクトとの空間的制約を考慮します。
私たちのアプローチは、従来の方法で必要とされるオブジェクト間の事前定義された間隔を必要とせずに、コンパクトなオブジェクトアセンブリを配置する方法を学習します。
私たちは、6 自由度のロボット アームに取り付けられた 2 本指グリッパーを使用して、アプローチを徹底的に評価しました。
結果は、オブジェクト アセンブリのコンパクトさにおいて、エージェントが 2 つのベースライン アプローチよりも大幅に優れていることを示しており、それにより、指定された空間制約を遵守しながらオブジェクトを配置するために必要なスペースが削減されます。

要約(オリジナル)

Close and precise placement of irregularly shaped objects requires a skilled robotic system. The manipulation of objects that have sensitive top surfaces and a fixed set of neighbors is particularly challenging. To avoid damaging the surface, the robot has to grasp them from the side, and during placement, it has to maintain the spatial relations with adjacent objects, while considering the physical gripper extent. In this work, we propose a framework to learn an agent based on reinforcement learning that generates end-effector motions for placing objects as closely as possible to one another. During the placement, our agent considers the spatial constraints with neighbors defined in a given layout of the objects while avoiding collisions. Our approach learns to place compact object assemblies without the need for predefined spacing between objects, as required by traditional methods. We thoroughly evaluated our approach using a two-finger gripper mounted on a robotic arm with six degrees of freedom. The results demonstrate that our agent significantly outperforms two baseline approaches in object assembly compactness, thereby reducing the space required to position the objects while adhering to specified spatial constraints.

arxiv情報

著者 Benedikt Kreis,Nils Dengler,Jorge de Heuvel,Rohit Menon,Hamsa Perur,Maren Bennewitz
発行日 2024-10-11 09:10:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Compact Multi-Object Placement Using Adjacency-Aware Reinforcement Learning はコメントを受け付けていません

Extended Friction Models for the Physics Simulation of Servo Actuators

投稿日: 2024年10月14日 作成者: jarxiv

要約

ロボット システムの制御アルゴリズムの開発と検証には、正確な物理シミュレーションが不可欠です。
強化学習 (RL) における最近の研究では、効率的なロボット制御を生み出すために広範なシミュレーションを特に活用しています。
最先端のサーボ アクチュエータ モデルは一般に、これらのシステムの複雑な摩擦力学を捉えることができません。
これにより、シミュレートされた動作を現実世界のアプリケーションに移すことが制限されます。
この研究では、サーボ アクチュエータのダイナミクスをより正確にシミュレートできる拡張摩擦モデルを紹介します。
私たちは、さまざまな摩擦モデルの包括的な解析を提案し、振り子テストベンチから記録された軌道を使用してモデルパラメータを特定する方法を提示し、これらのモデルを物理エンジンにどのように統合できるかを実証します。
提案された摩擦モデルは 4 つの異なるサーボ アクチュエータで検証され、2R マニピュレータでテストされ、標準のクーロン粘性モデルと比較して精度が大幅に向上していることが示されています。
私たちの結果は、ロボット シミュレーションの現実性と信頼性を高めるために、サーボアクチュエーターのシミュレーションで高度な摩擦効果を考慮することの重要性を強調しています。

要約(オリジナル)

Accurate physical simulation is crucial for the development and validation of control algorithms in robotic systems. Recent works in Reinforcement Learning (RL) take notably advantage of extensive simulations to produce efficient robot control. State-of-the-art servo actuator models generally fail at capturing the complex friction dynamics of these systems. This limits the transferability of simulated behaviors to real-world applications. In this work, we present extended friction models that allow to more accurately simulate servo actuator dynamics. We propose a comprehensive analysis of various friction models, present a method for identifying model parameters using recorded trajectories from a pendulum test bench, and demonstrate how these models can be integrated into physics engines. The proposed friction models are validated on four distinct servo actuators and tested on 2R manipulators, showing significant improvements in accuracy over the standard Coulomb-Viscous model. Our results highlight the importance of considering advanced friction effects in the simulation of servo actuators to enhance the realism and reliability of robotic simulations.

arxiv情報

著者 Marc Duclusaud,Grégoire Passault,Vincent Padois,Olivier Ly
発行日 2024-10-11 09:19:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Extended Friction Models for the Physics Simulation of Servo Actuators はコメントを受け付けていません

From gymnastics to virtual nonholonomic constraints: energy injection, dissipation, and regulation for the acrobot

投稿日: 2024年10月14日 作成者: jarxiv

要約

この記事では、フィードバック制御によって強制できる機械システムの一般化された座標と運動量の間の関係である仮想非ホロノミック制約について研究します。
アクロロボットの体操の巨大な動きをエミュレートする制約を設計し、この制約が設計パラメータの符号に基づいてエネルギーを注入または散逸できることを証明します。
提案された制約は、シミュレーションと現実世界のアクロロボットでの実験の両方でテストされ、非常に効果的なエネルギー制御特性とさまざまな外乱に対する堅牢性が実証されています。

要約(オリジナル)

In this article we study virtual nonholonomic constraints, which are relations between the generalized coordinates and momenta of a mechanical system that can be enforced via feedback control. We design a constraint which emulates gymnastics giant motion in an acrobot, and prove that this constraint can inject or dissipate energy based on the sign of a design parameter. The proposed constraint is tested both in simulation and experimentally on a real-world acrobot, demonstrating highly effective energy regulation properties and robustness to a variety of disturbances.

arxiv情報

著者 Adan Moran-MacDonald,Manfredi Maggiore,Xingbo Wang
発行日 2024-10-11 09:26:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, math.OC | From gymnastics to virtual nonholonomic constraints: energy injection, dissipation, and regulation for the acrobot はコメントを受け付けていません