MAER-Nav: Bidirectional Motion Learning Through Mirror-Augmented Experience Replay for Robot Navigation

投稿日: 2025年4月1日 作成者: jarxiv

要約

Deep Rehnection Learning（DRL）ベースのナビゲーション方法は、モバイルロボットの有望な結果を実証していますが、限られたスペースでのアクションの柔軟性は限られています。
従来のDRLアプローチは、主に前方モーションポリシーを学習し、回復に後方操作が必要な複雑な環境にロボットが閉じ込められます。
このホワイトペーパーでは、明示的な障害駆動型の後知恵体験リプレイまたは報酬機能の変更を必要とせずに双方向の動き学習を可能にする新しいフレームワークであるMaer-Nav（ロボットナビゲーションの鏡濃縮エクスペリエンスリプレイ）を紹介します。
私たちのアプローチでは、鏡編みのエクスペリエンスリプレイメカニズムとカリキュラムの学習を統合して、成功した軌跡から合成後方ナビゲーションエクスペリエンスを生成します。
シミュレーションと現実世界の両方の環境での実験結果は、MAER-NAVが強力なフォワードナビゲーション機能を維持しながら、最先端の方法を大幅に上回ることを示しています。
このフレームワークは、従来の計画方法の包括的なアクション空間利用と学習ベースのアプローチの環境適応性との間のギャップを効果的に橋渡しし、従来のDRLメソッドが一貫して失敗するシナリオで堅牢なナビゲーションを可能にします。

要約(オリジナル)

Deep Reinforcement Learning (DRL) based navigation methods have demonstrated promising results for mobile robots, but suffer from limited action flexibility in confined spaces. Conventional DRL approaches predominantly learn forward-motion policies, causing robots to become trapped in complex environments where backward maneuvers are necessary for recovery. This paper presents MAER-Nav (Mirror-Augmented Experience Replay for Robot Navigation), a novel framework that enables bidirectional motion learning without requiring explicit failure-driven hindsight experience replay or reward function modifications. Our approach integrates a mirror-augmented experience replay mechanism with curriculum learning to generate synthetic backward navigation experiences from successful trajectories. Experimental results in both simulation and real-world environments demonstrate that MAER-Nav significantly outperforms state-of-the-art methods while maintaining strong forward navigation capabilities. The framework effectively bridges the gap between the comprehensive action space utilization of traditional planning methods and the environmental adaptability of learning-based approaches, enabling robust navigation in scenarios where conventional DRL methods consistently fail.

arxiv情報

著者 Shanze Wang,Mingao Tan,Zhibo Yang,Biao Huang,Xiaoyu Shen,Hailong Huang,Wei Zhang
発行日 2025-03-31 09:58:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | MAER-Nav: Bidirectional Motion Learning Through Mirror-Augmented Experience Replay for Robot Navigation はコメントを受け付けていません

A Benchmark for Vision-Centric HD Mapping by V2I Systems

投稿日: 2025年4月1日 作成者: jarxiv

要約

自律運転は、グローバルな視点の欠如と、ベクトル化された高解像度（HD）マップの意味情報のために安全上の課題に直面しています。
道端のカメラからの情報は、車両間（V2I）通信を通じて、マップ認識範囲を大幅に拡大できます。
ただし、車両間界面の協力のシナリオに基づいて、マップベクトル化に関するマップベクトル化に関する調査に利用できる現実世界からのデータセットはまだありません。
車両間層の協同的自律運転（VICAD）のオンラインHDマッピングに関する研究を繁栄させるために、車両と路傍インフラストラクチャの両方からの共同カメラフレームを含む現実世界のデータセットをリリースし、HDマップ要素の人間の注釈を提供します。
また、ベクトル化されたマップを構築するための視力中心のV2Iシステムを活用するエンドツーエンドのニューラルフレームワーク（つまり、V2I-HD）を提示します。
計算コストを削減し、自律車両にV2I-HDをさらに展開するために、V2I-HDに方向性的に分離された自己触媒メカニズムを導入します。
広範な実験では、V2I-HDが実際のデータセットでテストされているように、リアルタイムの推論速度で優れた性能を持っていることが示されています。
豊富な定性的結果は、複雑でさまざまな運転シーンで低コストの安定した堅牢なマップ構造品質を示しています。
ベンチマークとして、ソースコードとデータセットの両方が、さらなる研究の目的でOneDriveでリリースされています。

要約(オリジナル)

Autonomous driving faces safety challenges due to a lack of global perspective and the semantic information of vectorized high-definition (HD) maps. Information from roadside cameras can greatly expand the map perception range through vehicle-to-infrastructure (V2I) communications. However, there is still no dataset from the real world available for the study on map vectorization onboard under the scenario of vehicle-infrastructure cooperation. To prosper the research on online HD mapping for Vehicle-Infrastructure Cooperative Autonomous Driving (VICAD), we release a real-world dataset, which contains collaborative camera frames from both vehicles and roadside infrastructures, and provides human annotations of HD map elements. We also present an end-to-end neural framework (i.e., V2I-HD) leveraging vision-centric V2I systems to construct vectorized maps. To reduce computation costs and further deploy V2I-HD on autonomous vehicles, we introduce a directionally decoupled self-attention mechanism to V2I-HD. Extensive experiments show that V2I-HD has superior performance in real-time inference speed, as tested by our real-world dataset. Abundant qualitative results also demonstrate stable and robust map construction quality with low cost in complex and various driving scenes. As a benchmark, both source codes and the dataset have been released at OneDrive for the purpose of further study.

arxiv情報

著者 Miao Fan,Shanshan Yu,Shengtong Xu,Kun Jiang,Haoyi Xiong,Xiangzeng Liu
発行日 2025-03-31 11:24:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | A Benchmark for Vision-Centric HD Mapping by V2I Systems はコメントを受け付けていません

Video-based Traffic Light Recognition by Rockchip RV1126 for Autonomous Driving

投稿日: 2025年4月1日 作成者: jarxiv

要約

リアルタイムの信号機の認識は、都市環境における自律運転の安全性と航海の基本です。
既存のアプローチは、オンボードカメラからの単一フレーム分析に依存していますが、閉塞と有害な照明条件を含む複雑なシナリオと格闘しています。
複数の連続したフレームを処理して堅牢な信号機の検出と状態分類を実現する新しいビデオベースのエンドツーエンドニューラルネットワークである\ textit {vitlr}を提示します。
アーキテクチャは、Rockchip RV1126エンメッドプラットフォームでの展開に特に最適化された畳み込みの自己触媒モジュールを備えたトランス状態の設計を活用しています。
2つの実際のデータセットでの広範な評価は、\ textit {vitlr}がRV1126のNPUでリアルタイム処理機能（> 25 fps）を維持しながら、最先端のパフォーマンスを達成することを示しています。
このシステムは、既存の単一フレームアプローチと比較して、時間的安定性、ターゲット距離の変化、挑戦的な環境条件にわたる優れた堅牢性を示しています。
自律運転アプリケーションにHDマップを使用して、\ textit {vitlr}をエゴレーンの信号機認識システムに統合しました。
ソースコードやデータセットを含む完全な実装は、このドメインでのさらなる研究を促進するために公開されています。

要約(オリジナル)

Real-time traffic light recognition is fundamental for autonomous driving safety and navigation in urban environments. While existing approaches rely on single-frame analysis from onboard cameras, they struggle with complex scenarios involving occlusions and adverse lighting conditions. We present \textit{ViTLR}, a novel video-based end-to-end neural network that processes multiple consecutive frames to achieve robust traffic light detection and state classification. The architecture leverages a transformer-like design with convolutional self-attention modules, which is optimized specifically for deployment on the Rockchip RV1126 embedded platform. Extensive evaluations on two real-world datasets demonstrate that \textit{ViTLR} achieves state-of-the-art performance while maintaining real-time processing capabilities (>25 FPS) on RV1126’s NPU. The system shows superior robustness across temporal stability, varying target distances, and challenging environmental conditions compared to existing single-frame approaches. We have successfully integrated \textit{ViTLR} into an ego-lane traffic light recognition system using HD maps for autonomous driving applications. The complete implementation, including source code and datasets, is made publicly available to facilitate further research in this domain.

arxiv情報

著者 Miao Fan,Xuxu Kong,Shengtong Xu,Haoyi Xiong,Xiangzeng Liu
発行日 2025-03-31 11:27:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | Video-based Traffic Light Recognition by Rockchip RV1126 for Autonomous Driving はコメントを受け付けていません

A Reactive Framework for Whole-Body Motion Planning of Mobile Manipulators Combining Reinforcement Learning and SDF-Constrained Quadratic Programmi

投稿日: 2025年4月1日 作成者: jarxiv

要約

具体化された人工知能の重要な分野として、モバイルマニピュレーターはインテリジェントサービスにますます適用されていますが、その冗長な自由度は、散らかった環境での効率的なモーション計画も制限しています。
この問題に対処するために、このペーパーでは、モバイルマニピュレーターの反応性全身モーション計画のためのハイブリッド学習と最適化フレームワークを提案します。
ベイジアン分布のソフト俳優 – クリティック（ベイズ-DSAC）アルゴリズムを開発して、価値推定の品質と学習の収束性能を向上させます。
さらに、障害物回避運動の安全性を高めるために、署名された距離フィールドに制約された2次プログラミング方法を導入します。
実験を実施し、標準ベンチマークと比較します。
実験結果は、提案されたフレームワークが、反応性全身運動計画の効率を大幅に改善し、計画時間を短縮し、モーション計画の成功率を改善することを確認します。
さらに、提案された強化学習方法により、全身計画タスクの迅速な学習プロセスが保証されます。
新しいフレームワークにより、モバイルマニピュレーターは複雑な環境により安全かつ効率的に適応することができます。

要約(オリジナル)

As an important branch of embodied artificial intelligence, mobile manipulators are increasingly applied in intelligent services, but their redundant degrees of freedom also limit efficient motion planning in cluttered environments. To address this issue, this paper proposes a hybrid learning and optimization framework for reactive whole-body motion planning of mobile manipulators. We develop the Bayesian distributional soft actor-critic (Bayes-DSAC) algorithm to improve the quality of value estimation and the convergence performance of the learning. Additionally, we introduce a quadratic programming method constrained by the signed distance field to enhance the safety of the obstacle avoidance motion. We conduct experiments and make comparison with standard benchmark. The experimental results verify that our proposed framework significantly improves the efficiency of reactive whole-body motion planning, reduces the planning time, and improves the success rate of motion planning. Additionally, the proposed reinforcement learning method ensures a rapid learning process in the whole-body planning task. The novel framework allows mobile manipulators to adapt to complex environments more safely and efficiently.

arxiv情報

著者 Chenyu Zhang,Shiying Sun,Kuan Liu,Chuanbao Zhou,Xiaoguang Zhao,Min Tan,Yanlong Huang
発行日 2025-03-31 11:37:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | A Reactive Framework for Whole-Body Motion Planning of Mobile Manipulators Combining Reinforcement Learning and SDF-Constrained Quadratic Programmi はコメントを受け付けていません

SALT: A Flexible Semi-Automatic Labeling Tool for General LiDAR Point Clouds with Cross-Scene Adaptability and 4D Consistency

投稿日: 2025年4月1日 作成者: jarxiv

要約

クロスセーンの適応性と4D一貫性を備えた一般的なライダーポイント雲のための柔軟な半自動ラベリングツール（塩）を提案します。
カメラの蒸留に依存している最近のアプローチとは異なり、塩は生のライダーデータで直接動作し、自動的にセグメンテーション前の結果を生成します。
これを達成するために、Vision Foundationモデルのトレーニング分布と整合することにより、LIDARデータを擬似イメージに変換するデータアライメントと呼ばれる新しいゼロショット学習パラダイムを提案します。
さらに、SAM2を強化するために、4D無意味のプロンプト戦略と4D非最大抑制モジュールを設計し、高品質で時間的に一貫した前置換を確保します。
Saltは、Semantickittiで最新のゼロショット方法を18.4％PQで超え、新しく収集された低解像度LIDARデータと3つのLIDARタイプからの複合データで、ヒトアノテーターパフォーマンスのほぼ40〜50％を達成し、注釈効率を大幅に向上させます。
塩のオープンソーシングにより、現在のLIDARデータセットの大幅な拡張が促進され、Lidar Foundationモデルの将来の開発の基礎が築かれると予想されます。
コードはhttps://github.com/cavendish518/saltで入手できます。

要約(オリジナル)

We propose a flexible Semi-Automatic Labeling Tool (SALT) for general LiDAR point clouds with cross-scene adaptability and 4D consistency. Unlike recent approaches that rely on camera distillation, SALT operates directly on raw LiDAR data, automatically generating pre-segmentation results. To achieve this, we propose a novel zero-shot learning paradigm, termed data alignment, which transforms LiDAR data into pseudo-images by aligning with the training distribution of vision foundation models. Additionally, we design a 4D-consistent prompting strategy and 4D non-maximum suppression module to enhance SAM2, ensuring high-quality, temporally consistent presegmentation. SALT surpasses the latest zero-shot methods by 18.4% PQ on SemanticKITTI and achieves nearly 40-50% of human annotator performance on our newly collected low-resolution LiDAR data and on combined data from three LiDAR types, significantly boosting annotation efficiency. We anticipate that SALT’s open-sourcing will catalyze substantial expansion of current LiDAR datasets and lay the groundwork for the future development of LiDAR foundation models. Code is available at https://github.com/Cavendish518/SALT.

arxiv情報

著者 Yanbo Wang,Yongtao Chen,Chuan Cao,Tianchen Deng,Wentao Zhao,Jingchuan Wang,Weidong Chen
発行日 2025-03-31 11:46:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | SALT: A Flexible Semi-Automatic Labeling Tool for General LiDAR Point Clouds with Cross-Scene Adaptability and 4D Consistency はコメントを受け付けていません

Fast and Accurate Task Planning using Neuro-Symbolic Language Models and Multi-level Goal Decomposition

投稿日: 2025年4月1日 作成者: jarxiv

要約

ロボットタスク計画では、PDDLのようなルールベースの表現を使用するシンボリックプランナーは効果的ですが、検索スペースが指数関数的に増加するため、複雑な環境での長いシーケンスタスクと闘っています。
一方、人工ニューラルネットワークに基づいたLLMベースのアプローチは、より速い推論と常識的推論を提供しますが、成功率の低下に苦しんでいます。
現在のシンボリック（遅い速度）またはLLMベースのアプローチ（低精度）の制限に対処するために、LLMを使用して複雑なタスクをサブゴールに分解し、SubgoalまたはMCTSベースのLLMプランナーのいずれかを使用して各サブゴールのタスク計画を実行する新しいニューロシンボリックタスクプランナーを提案します。
この分解により、計画時間が短縮され、検索スペースを狭め、LLMがより管理しやすいタスクに集中できるようにすることで、成功率が向上します。
私たちの方法は、タスク計画ドメイン全体で高い成功率を維持しながら、現実世界およびシミュレートされたロボット環境全体で計画時間を大幅に短縮します。
詳細については、http：//graphics.ewha.ac.kr/llmtamp/をご覧ください。

要約(オリジナル)

In robotic task planning, symbolic planners using rule-based representations like PDDL are effective but struggle with long-sequential tasks in complicated environments due to exponentially increasing search space. Meanwhile, LLM-based approaches, which are grounded in artificial neural networks, offer faster inference and commonsense reasoning but suffer from lower success rates. To address the limitations of the current symbolic (slow speed) or LLM-based approaches (low accuracy), we propose a novel neuro-symbolic task planner that decomposes complex tasks into subgoals using LLM and carries out task planning for each subgoal using either symbolic or MCTS-based LLM planners, depending on the subgoal complexity. This decomposition reduces planning time and improves success rates by narrowing the search space and enabling LLMs to focus on more manageable tasks. Our method significantly reduces planning time while maintaining high success rates across task planning domains, as well as real-world and simulated robotics environments. More details are available at http://graphics.ewha.ac.kr/LLMTAMP/.

arxiv情報

著者 Minseo Kwon,Yaesol Kim,Young J. Kim
発行日 2025-03-31 12:24:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Fast and Accurate Task Planning using Neuro-Symbolic Language Models and Multi-level Goal Decomposition はコメントを受け付けていません

Learning 3D-Gaussian Simulators from RGB Videos

投稿日: 2025年4月1日 作成者: jarxiv

要約

ビデオデータから物理学の学習シミュレーションには、空間的および時間的一貫性を維持する必要があります。これは、強力な帰納的バイアスまたはグラウンドトゥルース3D情報でしばしば対処される課題 – スケーラビリティと一般化を制限します。
マルチビューRGBビデオからオブジェクトのダイナミクスエンドツーエンドを学習する3D Physicsシミュレーターである3DGSIMを紹介します。
画像を3Dガウス粒子表現にエンコードし、変圧器を介してダイナミクスを伝播し、3Dガウスのスプラッティングを使用してフレームをレンダリングします。
3DGSimememedsの物理的特性を、明示的な接続性の制約を強制せずに、3DGSimememedsの物理的特性をポイントごとの潜在ベクトルに共同でトレーニングすることにより、ダイナミクストランスとの逆レンダリングをトレーニングすることにより。
これにより、モデルは、剛性から弾力性のある布のような相互作用まで、多様な身体的行動をキャプチャし、目に見えないマルチボディの相互作用や新しいシーンの編集にも一般化する現実的な照明効果をキャプチャできます。

要約(オリジナル)

Learning physics simulations from video data requires maintaining spatial and temporal consistency, a challenge often addressed with strong inductive biases or ground-truth 3D information — limiting scalability and generalization. We introduce 3DGSim, a 3D physics simulator that learns object dynamics end-to-end from multi-view RGB videos. It encodes images into a 3D Gaussian particle representation, propagates dynamics via a transformer, and renders frames using 3D Gaussian splatting. By jointly training inverse rendering with a dynamics transformer using a temporal encoding and merging layer, 3DGSimembeds physical properties into point-wise latent vectors without enforcing explicit connectivity constraints. This enables the model to capture diverse physical behaviors, from rigid to elastic and cloth-like interactions, along with realistic lighting effects that also generalize to unseen multi-body interactions and novel scene edits.

arxiv情報

著者 Mikel Zhobro,Andreas René Geist,Georg Martius
発行日 2025-03-31 12:33:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.GR, cs.LG, cs.RO | Learning 3D-Gaussian Simulators from RGB Videos はコメントを受け付けていません

Tactile Ergodic Coverage on Curved Surfaces

投稿日: 2025年4月1日 作成者: jarxiv

要約

この記事では、クリーニングや表面検査などの触覚カバレッジタスクのフィードバック制御方法を紹介します。
これらのタスクは、複雑な継続的な物理的相互作用のために計画するのが難しいです。
これらのタスクでは、カバレッジのターゲットと進行状況は、カメラを使用して簡単に測定し、ポイントクラウドでエンコードできます。
ポイントクラウドで直接動作するエルゴードなカバレッジ方法を提案し、より多くのカバレッジを必要とする地域により多くの時間を費やすようにロボットを導きます。
ロボット制御と接触動作のために、幾何学的代数を使用して、ラインを追跡すると同時にそのラインに沿って目的の力を発揮するタスクスペースインピーダンスコントローラーを策定します。
運動学的シミュレーションでの方法のパフォーマンスを評価し、キッチン用品に関する実際の実験におけるその適用性を実証します。
ソースコード、実験データ、ビデオは、https：//sites.google.com/view/tactile-ergodic-control/でオープンアクセスとして入手できます。

要約(オリジナル)

In this article, we present a feedback control method for tactile coverage tasks, such as cleaning or surface inspection. These tasks are challenging to plan due to complex continuous physical interactions. In these tasks, the coverage target and progress can be easily measured using a camera and encoded in a point cloud. We propose an ergodic coverage method that operates directly on point clouds, guiding the robot to spend more time on regions requiring more coverage. For robot control and contact behavior, we use geometric algebra to formulate a task-space impedance controller that tracks a line while simultaneously exerting a desired force along that line. We evaluate the performance of our method in kinematic simulations and demonstrate its applicability in real-world experiments on kitchenware. Our source codes, experimental data, and videos are available as open access at https://sites.google.com/view/tactile-ergodic-control/

arxiv情報

著者 Cem Bilaloglu,Tobias Löw,Sylvain Calinon
発行日 2025-03-31 12:38:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Tactile Ergodic Coverage on Curved Surfaces はコメントを受け付けていません

Toward Anxiety-Reducing Pocket Robots for Children

投稿日: 2025年4月1日 作成者: jarxiv

要約

不安障害に苦しむ子供のほとんどの治療治療の一般的な分母は、不安を克服するために必要な技術を学ぶための毎日の実践ルーチンです。
ただし、不安を経験しながらこれらのテクニックを適用することは非常に困難な場合があります。
このペーパーでは、不安攻撃中に対処を促進するためのフォーカスオブジェクトとしてセラピーと並んで作業するように設計された触覚の手持ちポケットロボットエフェクトポケットの設計、実装、およびパイロット研究を紹介します。
ロボットは、毎日の練習を使用する必要はなく、小さなフォームファクターを持ち、7〜12歳の子供向けに設計されています。
ポケットロボットは、保持されているときに検知することで機能し、子供の焦点をシンプルな3ノートリズムマッチングゲームで提示することでシフトしようとします。
7〜10歳の4人の子供を含むポケットロボットのパイロット研究、そして6〜8歳の18人の子供を対象とした主要な研究を実施しました。
どちらの研究も、不安のある子どもたちに関係していません。
両方の研究は、ロボットのセンサー構成の信頼性、設計、およびユーザーチュートリアルの有効性を評価することを目的としています。
結果は、形態とセンサーのセットアップが適切に実行され、チュートリアルプロセスにより、子供がほとんど練習してロボットを使用できるようになったことを示しています。
この研究は、提示されたポケットロボットが、不安障害に苦しむ子供たちを助けるために、低コストのアクセス可能な技術を開発するためのステップを表していることを示しています。

要約(オリジナル)

A common denominator for most therapy treatments for children who suffer from an anxiety disorder is daily practice routines to learn techniques needed to overcome anxiety. However, applying those techniques while experiencing anxiety can be highly challenging. This paper presents the design, implementation, and pilot study of a tactile hand-held pocket robot AffectaPocket, designed to work alongside therapy as a focus object to facilitate coping during an anxiety attack. The robot does not require daily practice to be used, has a small form factor, and has been designed for children 7 to 12 years old. The pocket robot works by sensing when it is being held and attempts to shift the child’s focus by presenting them with a simple three-note rhythm-matching game. We conducted a pilot study of the pocket robot involving four children aged 7 to 10 years, and then a main study with 18 children aged 6 to 8 years; neither study involved children with anxiety. Both studies aimed to assess the reliability of the robot’s sensor configuration, its design, and the effectiveness of the user tutorial. The results indicate that the morphology and sensor setup performed adequately and the tutorial process enabled the children to use the robot with little practice. This work demonstrates that the presented pocket robot could represent a step toward developing low-cost accessible technologies to help children suffering from anxiety disorders.

arxiv情報

著者 Morten Roed Frederiksen,Kasper Støy,Maja Matarić
発行日 2025-03-31 13:05:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Toward Anxiety-Reducing Pocket Robots for Children はコメントを受け付けていません

HACTS: a Human-As-Copilot Teleoperation System for Robot Learning

投稿日: 2025年4月1日 作成者: jarxiv

要約

遠隔術は、特に人間のデモまたは修正を必要とする操作タスクにおいて、自律的なロボット学習に不可欠です。
ただし、ほとんどの既存のシステムは、一方的なロボット制御のみを提供し、ロボットのステータスをテレオ操作ハードウェアと同期させる能力が不足しているため、リアルタイムで柔軟な介入を防ぎます。
この作業では、ロボットアームとテレオ操作ハードウェア間の両側のリアルタイムのジョイント同期を確立する新しいシステムであるHacts（Human-as Copilot Teleoperation System）を紹介します。
自動運転車のハンドルに似たこのシンプルで効果的なフィードバックメカニズムにより、将来の学習のためにアクション修正データを収集しながら、人間の副操縦士がシームレスに介入することができます。
3Dプリントされたコンポーネントと低コストの既製のモーターを使用して実装されたHACTSは、アクセス可能でスケーラブルです。
私たちの実験は、HACTが模倣学習（IL）および強化学習（RL）タスクのパフォーマンスを大幅に向上させ、ILの回復能力とデータ効率を高め、ループ内のRLを促進することを示しています。
Hactsは、より効果的でインタラクティブな人間のロボットコラボレーションとデータ収集の道を開き、ロボット操作の機能を進めます。

要約(オリジナル)

Teleoperation is essential for autonomous robot learning, especially in manipulation tasks that require human demonstrations or corrections. However, most existing systems only offer unilateral robot control and lack the ability to synchronize the robot’s status with the teleoperation hardware, preventing real-time, flexible intervention. In this work, we introduce HACTS (Human-As-Copilot Teleoperation System), a novel system that establishes bilateral, real-time joint synchronization between a robot arm and teleoperation hardware. This simple yet effective feedback mechanism, akin to a steering wheel in autonomous vehicles, enables the human copilot to intervene seamlessly while collecting action-correction data for future learning. Implemented using 3D-printed components and low-cost, off-the-shelf motors, HACTS is both accessible and scalable. Our experiments show that HACTS significantly enhances performance in imitation learning (IL) and reinforcement learning (RL) tasks, boosting IL recovery capabilities and data efficiency, and facilitating human-in-the-loop RL. HACTS paves the way for more effective and interactive human-robot collaboration and data-collection, advancing the capabilities of robot manipulation.

arxiv情報

著者 Zhiyuan Xu,Yinuo Zhao,Kun Wu,Ning Liu,Junjie Ji,Zhengping Che,Chi Harold Liu,Jian Tang
発行日 2025-03-31 13:28:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | HACTS: a Human-As-Copilot Teleoperation System for Robot Learning はコメントを受け付けていません