Reinforcement Learning Based Prediction of PID Controller Gains for Quadrotor UAVs

要約

PIDコントローラーのゲインのオンライン微調整のために、強化学習(RL)ベースの方法論が提案および実装されているため、四肢装置が効果的で正確な軌道追跡を改善します。
RLエージェントは、最初に四肢装置PID姿勢コントローラーでオフラインでトレーニングされ、その後、シミュレーションと実験飛行を通じて検証されます。
RLは、ポリックオフクリティックな方法である深い決定論的ポリシーグラデーション(DDPG)アルゴリズムを活用しています。
トレーニングとシミュレーションの研究は、MATLAB/SIMULINKとPX4オートパイロットのUAVツールボックスサポートパッケージを使用して実行されます。
パフォーマンス評価と比較研究は、ハンドチューニングとRLベースのチューニングアプローチの間で実行されます。
結果は、RLに基づくコントローラーパラメーターがフライト中に調整され、最小の姿勢エラーを達成するため、手でチューニングされたアプローチと比較して姿勢追跡パフォーマンスを大幅に改善することを示しています。

要約(オリジナル)

A reinforcement learning (RL) based methodology is proposed and implemented for online fine-tuning of PID controller gains, thus, improving quadrotor effective and accurate trajectory tracking. The RL agent is first trained offline on a quadrotor PID attitude controller and then validated through simulations and experimental flights. RL exploits a Deep Deterministic Policy Gradient (DDPG) algorithm, which is an off-policy actor-critic method. Training and simulation studies are performed using Matlab/Simulink and the UAV Toolbox Support Package for PX4 Autopilots. Performance evaluation and comparison studies are performed between the hand-tuned and RL-based tuned approaches. The results show that the controller parameters based on RL are adjusted during flights, achieving the smallest attitude errors, thus significantly improving attitude tracking performance compared to the hand-tuned approach.

arxiv情報

著者 Serhat Sönmez,Luca Montecchio,Simone Martini,Matthew J. Rutherford,Alessandro Rizzo,Margareta Stefanovic,Kimon P. Valavanis
発行日 2025-02-06 23:01:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Reinforcement Learning Based Prediction of PID Controller Gains for Quadrotor UAVs はコメントを受け付けていません

Sensorimotor Control Strategies for Tactile Robotics

要約

ロボットはどのように周囲とやり取りするのですか?
最近の進歩により、ロボットは触覚センシングを使用して世界を知覚し、関与する方法を形作りました。
触覚センシングはゲームチェンジャーであり、ロボットが感覚運動制御戦略を埋め込み、複雑な環境と相互作用し、異質なオブジェクトを巧みに処理できるようにします。
このような制御フレームワークは、突然の変化に対応し続けながら、接触駆動型の動きを計画しています。
触覚ロボット工学の知覚および制御システムを構築するための最新の方法をレビューしながら、設計と実装のための実用的なガイドラインを提供します。
また、インテリジェントロボットの未来を形作るための重要な課題にも対処しています。

要約(オリジナル)

How are robots becoming smarter at interacting with their surroundings? Recent advances have reshaped how robots use tactile sensing to perceive and engage with the world. Tactile sensing is a game-changer, allowing robots to embed sensorimotor control strategies to interact with complex environments and skillfully handle heterogeneous objects. Such control frameworks plan contact-driven motions while staying responsive to sudden changes. We review the latest methods for building perception and control systems in tactile robotics while offering practical guidelines for their design and implementation. We also address key challenges to shape the future of intelligent robots.

arxiv情報

著者 Enrico Donato,Matteo Lo Preti,Lucia Beccai,Egidio Falotico
発行日 2025-02-06 23:07:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Sensorimotor Control Strategies for Tactile Robotics はコメントを受け付けていません

Probing a Vision-Language-Action Model for Symbolic States and Integration into a Cognitive Architecture

要約

Vision-Language-active(VLA)モデルは、視覚的および言語的入力をロボットアクションに変換することにより、ジェネラリストのロボティクスソリューションとして有望ですが、ブラックボックスの性質と環境変化に対する感受性のために信頼性がありません。
対照的に、認知アーキテクチャ(CA)は象徴的な推論と状態監視に優れていますが、剛性の事前定義された実行によって制約されます。
この作業は、オブジェクトの特性、関係、およびアクション状態の象徴的な表現を明らかにするためにOpenVLAの隠れた層を調査することにより、これらのアプローチを橋渡しし、CAとの統合を解釈性と堅牢性を高めるために可能にします。
Libero-Spatial Pick-and-Placeタスクに関する実験を通じて、OpenVLAのLlamaバックボーンのさまざまな層にわたるシンボリック状態のエンコードを分析します。
私たちの調査結果は、ほとんどのレイヤーでオブジェクトとアクションの両方の状態で一貫して高い精度(> 0.90)を示していますが、私たちの仮説に反して、アクション状態よりも早くエンコードされているオブジェクト状態の予想されるパターンは観察しませんでした。
リアルタイムの状態監視のためにこれらの象徴的な表現を活用する統合されたDIARC-OpenVLAシステムを実証し、より解釈可能で信頼性の高いロボット操作の基礎を築きます。

要約(オリジナル)

Vision-language-action (VLA) models hold promise as generalist robotics solutions by translating visual and linguistic inputs into robot actions, yet they lack reliability due to their black-box nature and sensitivity to environmental changes. In contrast, cognitive architectures (CA) excel in symbolic reasoning and state monitoring but are constrained by rigid predefined execution. This work bridges these approaches by probing OpenVLA’s hidden layers to uncover symbolic representations of object properties, relations, and action states, enabling integration with a CA for enhanced interpretability and robustness. Through experiments on LIBERO-spatial pick-and-place tasks, we analyze the encoding of symbolic states across different layers of OpenVLA’s Llama backbone. Our probing results show consistently high accuracies (> 0.90) for both object and action states across most layers, though contrary to our hypotheses, we did not observe the expected pattern of object states being encoded earlier than action states. We demonstrate an integrated DIARC-OpenVLA system that leverages these symbolic representations for real-time state monitoring, laying the foundation for more interpretable and reliable robotic manipulation.

arxiv情報

著者 Hong Lu,Hengxu Li,Prithviraj Singh Shahani,Stephanie Herbers,Matthias Scheutz
発行日 2025-02-06 23:11:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Probing a Vision-Language-Action Model for Symbolic States and Integration into a Cognitive Architecture はコメントを受け付けていません

HeLiOS: Heterogeneous LiDAR Place Recognition via Overlap-based Learning and Local Spherical Transformer

要約

Lidar Place認識は、現在の場所と以前に観察された環境と一致するローカリゼーションにおける重要なモジュールです。
Lidar Place認識のほとんどの既存のアプローチは、スピニングタイプのLidarに支配的に焦点を当て、マッチングのために大きなFOVを活用しています。
しかし、最近のさまざまなLidarタイプの出現により、さまざまなLidarタイプにわたってデータを一致させることの重要性は大幅に増加しました。これは長年にわたって見過ごされてきた課題です。
これらの課題に対処するために、球形の変圧器と堅牢なグローバル記述子のための最適な輸送ベースのクラスター割り当てを備えた小さなローカルウィンドウを利用する不均一なLidar Place認識に合わせた深いネットワークであるHeliosを紹介します。
オーバーラップベースのデータマイニングとガイド付きトリプレット損失は、従来の距離ベースのマイニングと個別のクラスの制約の制限を克服します。
ヘリオスはパブリックデータセットで検証されており、長期的な認識の評価を含め、不均一なLidar場所認識のパフォーマンスを実証し、目に見えないLIDARタイプを処理する能力を示しています。
heliosコードをhttps://github.com/minwoo0611/heliosでロボットコミュニティのオープンソースとしてリリースします。

要約(オリジナル)

LiDAR place recognition is a crucial module in localization that matches the current location with previously observed environments. Most existing approaches in LiDAR place recognition dominantly focus on the spinning type LiDAR to exploit its large FOV for matching. However, with the recent emergence of various LiDAR types, the importance of matching data across different LiDAR types has grown significantly-a challenge that has been largely overlooked for many years. To address these challenges, we introduce HeLiOS, a deep network tailored for heterogeneous LiDAR place recognition, which utilizes small local windows with spherical transformers and optimal transport-based cluster assignment for robust global descriptors. Our overlap-based data mining and guided-triplet loss overcome the limitations of traditional distance-based mining and discrete class constraints. HeLiOS is validated on public datasets, demonstrating performance in heterogeneous LiDAR place recognition while including an evaluation for long-term recognition, showcasing its ability to handle unseen LiDAR types. We release the HeLiOS code as an open source for the robotics community at https://github.com/minwoo0611/HeLiOS.

arxiv情報

著者 Minwoo Jung,Sangwoo Jung,Hyeonjae Gil,Ayoung Kim
発行日 2025-02-07 00:36:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | HeLiOS: Heterogeneous LiDAR Place Recognition via Overlap-based Learning and Local Spherical Transformer はコメントを受け付けていません

The Mini Wheelbot: A Testbed for Learning-based Balancing, Flips, and Articulated Driving

要約

ミニホイールボットは、学習ベースのコントロールのテストベッドとして設計されたバランスの取れた反応ホイールユニサイクルロボットです。
これは、小型で強力で頑丈なフォームファクターの非常に非線形ヨーダイナミクス、非ホロノミー運転、離散コンタクトスイッチを備えた不安定なシステムです。
ミニホイールボットは、ホイールを使用して、初期の方向から立ち上がることができます。これは、繰り返しの実験や挑戦的なハーフフリップで自動環境リセットを可能にします。
2つの一般的な学習ベースのコントロールアルゴリズムを実装することにより、テストベッドとしてのミニホイールボットの有効性を説明します。
まず、バランスコントローラーを調整するためのベイジアンの最適化を紹介します。
第二に、ジャイロスコープ効果を使用してロボットを再配向し、高レベルの速度と方向コマンドを追跡できる専門家の非線形MPCからの模倣学習を使用します。
後者を使用すると、ロボットはユーザーコマンドに基づいて運転できます – このクラスのロボットで初めて。
ミニホイールボットは、学習ベースのコントロールアルゴリズムをテストすることに魅力的であるだけでなく、実験のビデオで実証されているように、一緒に仕事をするのも楽しいです。

要約(オリジナル)

The Mini Wheelbot is a balancing, reaction wheel unicycle robot designed as a testbed for learning-based control. It is an unstable system with highly nonlinear yaw dynamics, non-holonomic driving, and discrete contact switches in a small, powerful, and rugged form factor. The Mini Wheelbot can use its wheels to stand up from any initial orientation – enabling automatic environment resets in repetitive experiments and even challenging half flips. We illustrate the effectiveness of the Mini Wheelbot as a testbed by implementing two popular learning-based control algorithms. First, we showcase Bayesian optimization for tuning the balancing controller. Second, we use imitation learning from an expert nonlinear MPC that uses gyroscopic effects to reorient the robot and can track higher-level velocity and orientation commands. The latter allows the robot to drive around based on user commands – for the first time in this class of robots. The Mini Wheelbot is not only compelling for testing learning-based control algorithms, but it is also just fun to work with, as demonstrated in the video of our experiments.

arxiv情報

著者 Henrik Hose,Jan Weisgerber,Sebastian Trimpe
発行日 2025-02-07 00:36:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY, math.OC | The Mini Wheelbot: A Testbed for Learning-based Balancing, Flips, and Articulated Driving はコメントを受け付けていません

Joint State and Noise Covariance Estimation

要約

このペーパーでは、ガウスノイズによって破損した測定値からの主要なパラメーター(ポーズやポイントなど)とともに、ノイズ共分散マトリックスを共同で推定する問題に取り組んでいます。
このような設定では、ノイズ共分散行列は、最小二乗問題で個々の測定に割り当てられた重みを決定します。
関節の問題が凸構造を示し、関節最大値と尤度フレームワークおよびいくつかのバリアント内の最適なノイズ共分散推定(分析ソリューションを使用)の完全な特性評価を提供することを示します。
この理論的結果を活用して、主要なパラメーターとノイズ共分散行列を共同で推定する2つの新しいアルゴリズムを提案します。
アプローチを検証するために、さまざまなシナリオで広範な実験を実施し、特定のスラムに焦点を当てたロボット工学とコンピュータービジョン推定の問題に関するアプリケーションに関する実用的な洞察を提供します。

要約(オリジナル)

This paper tackles the problem of jointly estimating the noise covariance matrix alongside primary parameters (such as poses and points) from measurements corrupted by Gaussian noise. In such settings, the noise covariance matrix determines the weights assigned to individual measurements in the least squares problem. We show that the joint problem exhibits a convex structure and provide a full characterization of the optimal noise covariance estimate (with analytical solutions) within joint maximum a posteriori and likelihood frameworks and several variants. Leveraging this theoretical result, we propose two novel algorithms that jointly estimate the primary parameters and the noise covariance matrix. To validate our approach, we conduct extensive experiments across diverse scenarios and offer practical insights into their application in robotics and computer vision estimation problems with a particular focus on SLAM.

arxiv情報

著者 Kasra Khosoussi,Iman Shames
発行日 2025-02-07 00:40:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, math.OC | Joint State and Noise Covariance Estimation はコメントを受け付けていません

Cooperative Payload Estimation by a Team of Mocobots

要約

次のシナリオを検討してください。人間は、複数のモバイルマニピュレーターをガイドして、共通のペイロードを把握します。
モバイルマニピュレーターチームによるペイロードのその後の高性能自律操作、または人間との共同操作のために、ロボットは他のロボットがペイロードに接続されている場所、およびペイロードの質量と慣性特性を発見できるはずです

この論文では、ロボットがこの情報を自律的に発見する方法について説明します。
ロボットはペイロードを協力して操作し、把握フレームのツイスト、ツイスト誘導体、およびレンチデータを使用して、グラップフレーム、ペイロードの質量の位置、ペイロードの慣性マトリックス間の変換マトリックスを推定します。
この方法は、3つのモバイルコボットまたはモコボットのチームで実験的に検証されます。

要約(オリジナル)

Consider the following scenario: a human guides multiple mobile manipulators to grasp a common payload. For subsequent high-performance autonomous manipulation of the payload by the mobile manipulator team, or for collaborative manipulation with the human, the robots should be able to discover where the other robots are attached to the payload, as well as the payload’s mass and inertial properties. In this paper, we describe a method for the robots to autonomously discover this information. The robots cooperatively manipulate the payload, and the twist, twist derivative, and wrench data at their grasp frames are used to estimate the transformation matrices between the grasp frames, the location of the payload’s center of mass, and the payload’s inertia matrix. The method is validated experimentally with a team of three mobile cobots, or mocobots.

arxiv情報

著者 Haoxuan Zhang,C. Lin Liu,Matthew L. Elwin,Randy A. Freeman,Kevin M. Lynch
発行日 2025-02-07 01:18:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Cooperative Payload Estimation by a Team of Mocobots はコメントを受け付けていません

Force interaction, modeling and soft tissue deformation during reciprocating insertion of multi-part probe

要約

軟部組織の挿入のために往復運動を採用する産卵産生ワズプのバイオに触発されたエンジニアリングは、挿入力を削減し、組織の損傷を最小限に抑える上で潜在的な利点を提供します。
ただし、組織の相互作用と節約の根本的なメカニズムは完全には理解されていません。
この研究では、産卵型の往復運動を模倣するように設計されたマルチパートプローブを調査することを目指しています。
プローブと軟部組織間の相互作用を研究するために相互挿入モデルが開発され、実験テストは、力センサーとレーザー光学技術を使用して実施され、相互作用する力と組織の変形に関する洞察を得ました。
結果は、相互運動の切断段階で、軟質基質のピーク力と平均変位は、それぞれ1 mm/sの全体的なプローブ速度での直接挿入と比較して、それぞれ約19%と20%低かったことを明らかにしています。
この研究では、機械的モデリングと実験分析を組み合わせた新しいアプローチを提示して、往復挿入法の力力学を調査し、プローブと軟部組織の間の相互作用をよりよく理解します。

要約(オリジナル)

The bio-inspired engineering of ovipositing wasps, which employ a reciprocating motion for soft tissue insertion, offers potential advantages in reducing insertion force and minimizing tissue damage. However, the underlying mechanisms of tissue interaction and sparing are not fully understood. In this study, we aim to investigate a multi-part probe designed to mimic the reciprocating motion of ovipositors. A reciprocal insertion model was developed to study the interaction between the probe and soft tissue, and experimental testing was conducted using a force sensor and laser optical technique to gain insights into interacting forces and tissue deformation. The results reveal that during the cutting phase of reciprocal motion, the peak force and average displacement of the soft substrate were approximately 19% and 20% lower, respectively, compared to direct insertion at an overall probe velocity of 1 mm/s. This study presents a novel approach combining mechanical modeling and experimental analysis to explore the force mechanics of the reciprocating insertion method, providing a better understanding of the interaction between the probe and soft tissue.

arxiv情報

著者 Tassanai Parittotokkaporn,Matthew Oldfield,Luca Frasson,Ferdinando Rodriguez y Baena
発行日 2025-02-07 01:54:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Force interaction, modeling and soft tissue deformation during reciprocating insertion of multi-part probe はコメントを受け付けていません

Formation Control for Enclosing and Tracking via Relative Localization

要約

このペーパーでは、外部のローカリゼーションシステムに依存せずに移動ターゲットを永続的に囲み、追跡するために、複数の無人航空機(UAV)を調整するための統合フレームワークを提案します。
提案されたフレームワークは、協調状態推定器、円形形成パターンジェネレーター、およびフォーメーション追跡コントローラーの3つのモジュールで構成されています。
協調状態の推定モジュールでは、UAV間の相対位置を推定するための再帰最小二乗推定器(RLSE)が分散カルマンフィルター(DKF)と統合され、ターゲットの状態の永続的な推定が可能になります。
UAVが環境閉塞のためにターゲットの直接測定を失うと、近隣からの測定値がUAVのローカルフレームに揃えられ、間接測定が提供されます。
2番目のモジュールは、結合オシレータモデルを使用して、目的の円形形成パターンの計画に焦点を当てています。
このパターンは、移動ターゲットを囲む円の周りにUAVの均等な分布を保証します。
円形形成の永続的な励起特性は、最初のモジュールで収束を達成するために重要です。
最後に、コンセンサスベースのフォーメーションコントローラーは、複数のUAVが境界のある制御入力を確保しながら、計画された円形形成パターンを漸近的に追跡できるように設計されています。
理論分析は、提案されたフレームワークが一定の速度でターゲットの漸近追跡を保証することを示しています。
速度が変化するターゲットの場合、追跡エラーは、ターゲットの最大加速度に関連する境界領域に収束します。
シミュレーションと実験では、提案されたアルゴリズムの有効性を検証します。

要約(オリジナル)

This paper proposes an integrated framework for coordinating multiple unmanned aerial vehicles (UAVs) in a distributed manner to persistently enclose and track a moving target without relying on external localization systems. The proposed framework consists of three modules: cooperative state estimators, circular formation pattern generators, and formation tracking controllers. In the cooperative state estimation module, a recursive least squares estimator (RLSE) for estimating the relative positions between UAVs is integrated with a distributed Kalman filter (DKF), enabling a persistent estimation of the target’s state. When a UAV loses direct measurements of the target due to environmental occlusion, measurements from neighbors are aligned into the UAV’s local frame to provide indirect measurements. The second module focuses on planning a desired circular formation pattern using a coupled oscillator model. This pattern ensures an even distribution of UAVs around a circle that encloses the moving target. The persistent excitation property of the circular formation is crucial for achieving convergence in the first module. Finally, a consensus-based formation controller is designed to enable multiple UAVs to asymptotically track the planned circular formation pattern while ensuring bounded control inputs. Theoretical analysis demonstrates that the proposed framework ensures asymptotic tracking of a target with constant velocity. For a target with varying velocity, the tracking error converges to a bounded region related to the target’s maximum acceleration. Simulations and experiments validate the effectiveness of the proposed algorithm.

arxiv情報

著者 Xueming Liu,Dengyu Zhang,Qingrui Zhang,Tianjiang Hu
発行日 2025-02-07 02:03:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Formation Control for Enclosing and Tracking via Relative Localization はコメントを受け付けていません

Exercise Specialists Evaluation of Robot-led Physical Therapy for People with Parkinsons Disease

要約

ロボット主導の理学療法(PT)は、臨床運動スペシャリスト(ES)および理学療法士が提供するケアを強化するための有望な手段を提供し、自宅などの診療所外で処方された運動への患者の遵守を改善します。
ロボット奏者、ES、理学療法士、および職業療法士、患者の間の共同の取り組みは、各利害関係者のニーズを満たすインタラクティブでパーソナライズされた運動システムを開発するために不可欠です。
私たちは、システムの認識された有効性と受け入れに焦点を当てて、[1]で導入されたパーキンソン病患者(PD)のための11のESが11のESを評価したユーザー研究を実施しました。
テクノロジー受け入れアンケート、タスクロードアンケート、半構造化されたインタビューなどの混合メソッドアプローチを利用して、システムとの対話後のESの視点と経験に関する包括的な洞察を集めました。
調査結果は、PDの従来のPTを強化し、患者の関与を強化し、一貫した運動サポートを確保するシステムの能力を強調する非常に肯定的な受容を明らかにしています。
また、改善のための2つの重要な領域を特定しました。より多くの人間のようなフィードバックシステムを組み込み、ロボットの使いやすさを増やします。
この研究では、ロボットエイズをPDのPTに組み込むことの価値を強調し、より効果的でユーザーフレンドリーなリハビリテーション技術の開発を導くことができる洞察を提供します。

要約(オリジナル)

Robot-led physical therapy (PT) offers a promising avenue to enhance the care provided by clinical exercise specialists (ES) and physical and occupational therapists to improve patients’ adherence to prescribed exercises outside of a clinic, such as at home. Collaborative efforts among roboticists, ES, physical and occupational therapists, and patients are essential for developing interactive, personalized exercise systems that meet each stakeholder’s needs. We conducted a user study in which 11 ES evaluated a novel robot-led PT system for people with Parkinson’s disease (PD), introduced in [1], focusing on the system’s perceived efficacy and acceptance. Utilizing a mixed-methods approach, including technology acceptance questionnaires, task load questionnaires, and semi-structured interviews, we gathered comprehensive insights into ES perspectives and experiences after interacting with the system. Findings reveal a broadly positive reception, which highlights the system’s capacity to augment traditional PT for PD, enhance patient engagement, and ensure consistent exercise support. We also identified two key areas for improvement: incorporating more human-like feedback systems and increasing the robot’s ease of use. This research emphasizes the value of incorporating robotic aids into PT for PD, offering insights that can guide the development of more effective and user-friendly rehabilitation technologies.

arxiv情報

著者 Matthew Lamsey,Meredith D. Wells,Lydia Hamby,Paige Scanlon,Rouida Siddiqui,You Liang Tan,Jerry Feldman,Charles C. Kemp,Madeleine E. Hackney
発行日 2025-02-07 03:37:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Exercise Specialists Evaluation of Robot-led Physical Therapy for People with Parkinsons Disease はコメントを受け付けていません