Range-based 6-DoF Monte Carlo SLAM with Gradient-guided Particle Filter on GPU

投稿日: 2025年4月28日 作成者: jarxiv

要約

このペーパーでは、勾配誘導粒子更新戦略を備えた範囲ベースのモンテカルロスラムを紹介します。
粒子フィルターなどのノンパラメトリック状態推定方法は、あいまいさの高い状況で堅牢ですが、次元の呪いによる高次元の問題には適さないことが知られています。
この問題に対処するために、尤度関数の勾配情報を使用して粒子をそのモードに向けて導くことにより、サンプリング効率を改善する粒子更新戦略を提案します。
さらに、メモリ消費を緩和するための過去のフレームのセット（つまり、キーフレーム）のセットとしてグローバルマップを表すキーフレームベースのマップ表現を導入します。
各粒子のキーフレームのポーズは、軌道の一貫性を維持するために、単純なループ閉鎖法を使用して修正されます。
勾配情報とキーフレームベースのマップ表現の組み合わせは、サンプリング効率を大幅に向上させ、従来のRBPFアプローチと比較してメモリの使用量を削減します。
多数の粒子（たとえば、100,000粒子など）をリアルタイムで処理するために、提案されたフレームワークはGPU並列処理を完全に活用するように設計されています。
実験結果は、提案された方法が曖昧さに対して極端な堅牢性を示し、センサーが最小限のヒューリスティックでエレベーターを介して異なる床に移動するときなど、誘n状況にさえ対処できることを示しています。

要約(オリジナル)

This paper presents range-based 6-DoF Monte Carlo SLAM with a gradient-guided particle update strategy. While non-parametric state estimation methods, such as particle filters, are robust in situations with high ambiguity, they are known to be unsuitable for high-dimensional problems due to the curse of dimensionality. To address this issue, we propose a particle update strategy that improves the sampling efficiency by using the gradient information of the likelihood function to guide particles toward its mode. Additionally, we introduce a keyframe-based map representation that represents the global map as a set of past frames (i.e., keyframes) to mitigate memory consumption. The keyframe poses for each particle are corrected using a simple loop closure method to maintain trajectory consistency. The combination of gradient information and keyframe-based map representation significantly enhances sampling efficiency and reduces memory usage compared to traditional RBPF approaches. To process a large number of particles (e.g., 100,000 particles) in real-time, the proposed framework is designed to fully exploit GPU parallel processing. Experimental results demonstrate that the proposed method exhibits extreme robustness to state ambiguity and can even deal with kidnapping situations, such as when the sensor moves to different floors via an elevator, with minimal heuristics.

arxiv情報

著者 Takumi Nakao,Kenji Koide,Aoki Takanose,Shuji Oishi,Masashi Yokozuka,Hisashi Date
発行日 2025-04-25 04:07:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Range-based 6-DoF Monte Carlo SLAM with Gradient-guided Particle Filter on GPU はコメントを受け付けていません

Opportunistic Collaborative Planning with Large Vision Model Guided Control and Joint Query-Service Optimization

投稿日: 2025年4月28日 作成者: jarxiv

要約

オープンシナリオで自動運転車をナビゲートすることは、目に見えないオブジェクトを処理するのが難しいため、課題です。
既存のソリューションは、一般化と闘う小さなモデルまたはリソース集約型の大規模モデルに依存しています。
2つのコラボレーションは有望なソリューションを提供しますが、重要な課題は、いつ、どのように大規模なモデルを引き付けるかを決定することです。
この問題に対処するために、このペーパーでは、2つの重要なイノベーションを通じて、効率的なローカルモデルを強力なクラウドモデルとシームレスに統合する日和見的コラボレーションプランニング（OCP）を提案します。
まず、LVMの認識と意思決定のためにクラウドを活用する大規模なビジョンモデルガイドモデル予測制御（LVM-MPC）を提案します。
クラウド出力は、ローカルMPCのグローバルなガイダンスとして機能し、それにより閉ループの知覚から制御システムを形成します。
第二に、大規模なモデルクエリとサービスに最適なタイミングを決定するために、オブジェクト検出信頼性のしきい値（ODCT）およびクラウドフォワードシミュレーション（CFS）を含むコラボレーションタイミング最適化（CTO）を提案し、クラウド支援を求めるタイミングとクラウドサービスをいつ提供するかを決定します。
広範な実験は、提案されたOCPがナビゲーション時間と成功率の両方の観点から既存の方法を上回ることを示しています。

要約(オリジナル)

Navigating autonomous vehicles in open scenarios is a challenge due to the difficulties in handling unseen objects. Existing solutions either rely on small models that struggle with generalization or large models that are resource-intensive. While collaboration between the two offers a promising solution, the key challenge is deciding when and how to engage the large model. To address this issue, this paper proposes opportunistic collaborative planning (OCP), which seamlessly integrates efficient local models with powerful cloud models through two key innovations. First, we propose large vision model guided model predictive control (LVM-MPC), which leverages the cloud for LVM perception and decision making. The cloud output serves as a global guidance for a local MPC, thereby forming a closed-loop perception-to-control system. Second, to determine the best timing for large model query and service, we propose collaboration timing optimization (CTO), including object detection confidence thresholding (ODCT) and cloud forward simulation (CFS), to decide when to seek cloud assistance and when to offer cloud service. Extensive experiments show that the proposed OCP outperforms existing methods in terms of both navigation time and success rate.

arxiv情報

著者 Jiayi Chen,Shuai Wang,Guoliang Li,Wei Xu,Guangxu Zhu,Derrick Wing Kwan Ng,Chengzhong Xu
発行日 2025-04-25 04:07:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Opportunistic Collaborative Planning with Large Vision Model Guided Control and Joint Query-Service Optimization はコメントを受け付けていません

AllTact Fin Ray: A Compliant Robot Gripper with Omni-Directional Tactile Sensing

投稿日: 2025年4月28日 作成者: jarxiv

要約

触覚センシングは、ロボットと環境の間に重要な連絡先情報を提供することにより、ロボットの把握と操作において重要な役割を果たします。
この論文では、オムニ方向性および局所的な触覚センシング能力を備えた新しい準拠のグリッパーデザインであるAlltact Fin Rayを紹介します。
指の本体は、透明な弾性シリコンを使用してユニボディキャストされており、指の基部に配置されたカメラは、全身と接触面の変形をキャプチャします。
適応構造のグローバルな変形により、一定の照明がもはや適用されないと仮定する既存の視覚ベースの触覚センシングアプローチが適用されます。
これに対処するために、エッジの特徴と空間的制約を使用して、グローバルな変形が最初に画像から再構築される新しいセンシング方法を提案します。
次に、詳細な接触ジオメトリは、動的に取得された参照画像に対する明るさの違いから計算されます。
広範な実験では、接触検出、力の推定、オブジェクトの把握、および正確な操作における提案されたグリッパー設計および検知方法の有効性を検証します。

要約(オリジナル)

Tactile sensing plays a crucial role in robot grasping and manipulation by providing essential contact information between the robot and the environment. In this paper, we present AllTact Fin Ray, a novel compliant gripper design with omni-directional and local tactile sensing capabilities. The finger body is unibody-casted using transparent elastic silicone, and a camera positioned at the base of the finger captures the deformation of the whole body and the contact face. Due to the global deformation of the adaptive structure, existing vision-based tactile sensing approaches that assume constant illumination are no longer applicable. To address this, we propose a novel sensing method where the global deformation is first reconstructed from the image using edge features and spatial constraints. Then, detailed contact geometry is computed from the brightness difference against a dynamically retrieved reference image. Extensive experiments validate the effectiveness of our proposed gripper design and sensing method in contact detection, force estimation, object grasping, and precise manipulation.

arxiv情報

著者 Siwei Liang,Yixuan Guan,Jing Xu,Hongyu Qian,Xiangjun Zhang,Dan Wu,Wenbo Ding,Rui Chen
発行日 2025-04-25 04:32:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | AllTact Fin Ray: A Compliant Robot Gripper with Omni-Directional Tactile Sensing はコメントを受け付けていません

An Adaptive Grasping Force Tracking Strategy for Nonlinear and Time-Varying Object Behaviors

投稿日: 2025年4月28日 作成者: jarxiv

要約

正確な把握力制御は、オブジェクトの成功と損傷のないロボット把握を確保するための重要なスキルの1つです。
既存の方法は、スリップ検出と把握力計画に関する詳細な研究を実施していますが、異なる材料特性を持つオブジェクトを処理する際に、実際の力の実際の力の適応追跡の問題をターゲット力に順応させる問題を見落としていることがよくあります。
力追跡コントローラーの最適なパラメーターは、オブジェクトの剛性に大きく影響され、多くの適応力追跡アルゴリズムは剛性の推定に依存しています。
ただし、実際のオブジェクトは、粘性、プラスチック、またはその他のより複雑な非線形の時変を示すことがよくあり、既存の研究は、剛性の定義と推定の観点からこれらの材料を不十分なサポートを提供します。
これに対処するために、このペーパーでは、一般化された剛性の概念を紹介し、剛性の定義を非線形時間変動システムモデルに拡張し、長期的な短期メモリ（LSTM）ネットワークに基づいたオンライン一般化剛性推定器を提案します。
一般化された剛性に基づいて、このペーパーでは、PIコントローラーを使用した適応パラメーター調整戦略を例として提案し、さまざまな特性を持つオブジェクトの動的な力追跡を可能にします。
実験結果は、提案された方法が高精度と短いプローブ時間を達成し、既存の方法と比較して非理想的なオブジェクトに対するより良い適応性を示していることを示しています。
この方法は、未知、非線形、および時変把握システムでの力追跡の問題を効果的に解決し、ニューラルネットワークの一般化能力を実証し、非構造化環境でのロボットの把握能力を高めます。

要約(オリジナル)

Accurate grasp force control is one of the key skills for ensuring successful and damage-free robotic grasping of objects. Although existing methods have conducted in-depth research on slip detection and grasping force planning, they often overlook the issue of adaptive tracking of the actual force to the target force when handling objects with different material properties. The optimal parameters of a force tracking controller are significantly influenced by the object’s stiffness, and many adaptive force tracking algorithms rely on stiffness estimation. However, real-world objects often exhibit viscous, plastic, or other more complex nonlinear time-varying behaviors, and existing studies provide insufficient support for these materials in terms of stiffness definition and estimation. To address this, this paper introduces the concept of generalized stiffness, extending the definition of stiffness to nonlinear time-varying grasp system models, and proposes an online generalized stiffness estimator based on Long Short-Term Memory (LSTM) networks. Based on generalized stiffness, this paper proposes an adaptive parameter adjustment strategy using a PI controller as an example, enabling dynamic force tracking for objects with varying characteristics. Experimental results demonstrate that the proposed method achieves high precision and short probing time, while showing better adaptability to non-ideal objects compared to existing methods. The method effectively solves the problem of grasp force tracking in unknown, nonlinear, and time-varying grasp systems, demonstrating the generalization capability of our neural network and enhancing the robotic grasping ability in unstructured environments.

arxiv情報

著者 Ziyang Cheng,Xiangyu Tian,Ruomin Sui,Tiemin Li,Yao Jiang
発行日 2025-04-25 05:01:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY | An Adaptive Grasping Force Tracking Strategy for Nonlinear and Time-Varying Object Behaviors はコメントを受け付けていません

RL-Driven Data Generation for Robust Vision-Based Dexterous Grasping

投稿日: 2025年4月28日 作成者: jarxiv

要約

この作業は、器用な把握のための視覚アクション（VA）モデルの一般化を改善するための強化学習（RL）駆動型のデータ増強を提示します。
いくつかの実際のデモンストレーションが大規模なシミュレーションデータをシードしている実際のフレームワークは、VAモデルに効果的であることが証明されていますが、それらを器用な設定に適用することは困難なままです。
これに対処するために、RLを活用して、さまざまなジオメトリ全体で接触豊富な把握データを生成します。
実際のパラダイムに沿って、把握スキルは、RLを介して学習した残差ポリシーによって洗練されたパラメーター化された調整可能な参照軌跡として定式化されます。
このモジュラー設計により、実際のデモンストレーションと一致し、多様なオブジェクトのジオメトリに適応できる軌道レベルの制御が可能になります。
シミュレーションが整ったデータでトレーニングされた視覚条件のポリシーは、目に見えないオブジェクトに対する強力な一般化を示しており、VAモデルのトレーニングでデータボトルネックを軽減するアプローチの可能性を強調しています。

要約(オリジナル)

This work presents reinforcement learning (RL)-driven data augmentation to improve the generalization of vision-action (VA) models for dexterous grasping. While real-to-sim-to-real frameworks, where a few real demonstrations seed large-scale simulated data, have proven effective for VA models, applying them to dexterous settings remains challenging: obtaining stable multi-finger contacts is nontrivial across diverse object shapes. To address this, we leverage RL to generate contact-rich grasping data across varied geometries. In line with the real-to-sim-to-real paradigm, the grasp skill is formulated as a parameterized and tunable reference trajectory refined by a residual policy learned via RL. This modular design enables trajectory-level control that is both consistent with real demonstrations and adaptable to diverse object geometries. A vision-conditioned policy trained on simulation-augmented data demonstrates strong generalization to unseen objects, highlighting the potential of our approach to alleviate the data bottleneck in training VA models.

arxiv情報

著者 Atsushi Kanehira,Naoki Wake,Kazuhiro Sasabuchi,Jun Takamatsu,Katsushi Ikeuchi
発行日 2025-04-25 05:21:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | RL-Driven Data Generation for Robust Vision-Based Dexterous Grasping はコメントを受け付けていません

Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies

投稿日: 2025年4月28日 作成者: jarxiv

要約

近年、模倣学習や生成モデリングの進歩、拡散やフローベースのアプローチなど、印象的なロボット操作システムが駆動されています。
ロボットポリシーのパフォーマンスが向上するにつれて、達成可能なタスクの複雑さと時間の範囲も増加し、先験的に予測するのが難しい予期しない多様な障害モードを誘導します。
安全性が批判的な人間の環境で信頼できるポリシーの展開を可能にするために、ポリシーの推論中に信頼できるランタイム障害検出が重要になります。
ただし、ほとんどの既存の故障検出アプローチは、障害モードの事前知識に依存しており、トレーニング中に障害データが必要であり、実用性とスケーラビリティに大きな課題を課します。
これらの制限に応じて、模倣学習ベースのロボット操作における故障検出のためのモジュール式2段階のアプローチであるFail-detectを提示します。
成功したトレーニングデータのみから障害を正確に識別するために、問題を連続的な分散分布（OOD）検出としてフレーム化します。
最初に、ポリシーの障害と相関するスカラー信号にポリシーの入力と出力を蒸留し、認識論的不確実性をキャプチャします。
その後、Fail-retectは、統計的保証を使用した不確実性の定量化のための多用途のフレームワークとして、コンフォーマル予測（CP）を採用します。
経験的には、多様なロボット操作タスクに関する学習および事後スカラー信号候補の両方を徹底的に調査します。
私たちの実験は、特に私たちの新規の流れベースの密度推定器を使用する場合、学んだ信号がほとんど一貫して効果的であることを示しています。
さらに、当社の方法は、最先端の（SOTA）障害検出ベースラインよりも障害をより正確かつ高速に検出します。
これらの結果は、模倣学習ベースのロボットシステムの安全性と信頼性を実世界の展開に向けて進歩させる可能性を強調しています。

要約(オリジナル)

Recent years have witnessed impressive robotic manipulation systems driven by advances in imitation learning and generative modeling, such as diffusion- and flow-based approaches. As robot policy performance increases, so does the complexity and time horizon of achievable tasks, inducing unexpected and diverse failure modes that are difficult to predict a priori. To enable trustworthy policy deployment in safety-critical human environments, reliable runtime failure detection becomes important during policy inference. However, most existing failure detection approaches rely on prior knowledge of failure modes and require failure data during training, which imposes a significant challenge in practicality and scalability. In response to these limitations, we present FAIL-Detect, a modular two-stage approach for failure detection in imitation learning-based robotic manipulation. To accurately identify failures from successful training data alone, we frame the problem as sequential out-of-distribution (OOD) detection. We first distill policy inputs and outputs into scalar signals that correlate with policy failures and capture epistemic uncertainty. FAIL-Detect then employs conformal prediction (CP) as a versatile framework for uncertainty quantification with statistical guarantees. Empirically, we thoroughly investigate both learned and post-hoc scalar signal candidates on diverse robotic manipulation tasks. Our experiments show learned signals to be mostly consistently effective, particularly when using our novel flow-based density estimator. Furthermore, our method detects failures more accurately and faster than state-of-the-art (SOTA) failure detection baselines. These results highlight the potential of FAIL-Detect to enhance the safety and reliability of imitation learning-based robotic systems as they progress toward real-world deployment.

arxiv情報

著者 Chen Xu,Tony Khuong Nguyen,Emma Dixon,Christopher Rodriguez,Patrick Miller,Robert Lee,Paarth Shah,Rares Ambrus,Haruki Nishimura,Masha Itkina
発行日 2025-04-25 07:12:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies はコメントを受け付けていません

Real-Time-Feasible Collision-Free Motion Planning For Ellipsoidal Objects

投稿日: 2025年4月28日 作成者: jarxiv

要約

衝突のない軌跡のオンライン計画は、ロボット工学と自動運転の自動車アプリケーションの基本的なタスクです。
このペーパーでは、微分可能な制約を使用して、楕円形のオブジェクト間の衝突回避を再訪します。
楕円体の中心点間のベクトルのエンドポイントが楕円体のミンコフスキー合計の内部にある場合にのみ、2つの楕円体が重複しません。
この条件は、Minkowski Sumのパラメトリックな過剰近接を使用して配合されます。
結果として生じる衝突回避制約は、最適な制御問題（OCP）に含まれ、分離ハイパープレーンアプローチと比較して評価されます。
Minkowski-sumの定式化は、実験では計算的に効率的であることを観察するだけでなく、暖かいスタートの軌跡に基づいた事前に決定された過剰承認パラメーターを使用すると、最適性の非常に限られた増加につながることも観察します。
これにより、モデル予測制御（MPC）を使用した衝突のないモーション計画のための新しいリアルタイムスキームが生まれます。
リアルタイムの実現可能性と制約定式化の有効性の両方が、挑戦的な現実世界の実験で実証されています。

要約(オリジナル)

Online planning of collision-free trajectories is a fundamental task for robotics and self-driving car applications. This paper revisits collision avoidance between ellipsoidal objects using differentiable constraints. Two ellipsoids do not overlap if and only if the endpoint of the vector between the center points of the ellipsoids does not lie in the interior of the Minkowski sum of the ellipsoids. This condition is formulated using a parametric over-approximation of the Minkowski sum, which can be made tight in any given direction. The resulting collision avoidance constraint is included in an optimal control problem (OCP) and evaluated in comparison to the separating-hyperplane approach. Not only do we observe that the Minkowski-sum formulation is computationally more efficient in our experiments, but also that using pre-determined over-approximation parameters based on warm-start trajectories leads to a very limited increase in suboptimality. This gives rise to a novel real-time scheme for collision-free motion planning with model predictive control (MPC). Both the real-time feasibility and the effectiveness of the constraint formulation are demonstrated in challenging real-world experiments.

arxiv情報

著者 Yunfan Gao,Florian Messerer,Niels van Duijkeren,Boris Houska,Moritz Diehl
発行日 2025-04-25 07:26:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Real-Time-Feasible Collision-Free Motion Planning For Ellipsoidal Objects はコメントを受け付けていません

Offline Learning of Controllable Diverse Behaviors

投稿日: 2025年4月28日 作成者: jarxiv

要約

模倣学習（IL）技術は、特定のタスクで人間の行動を再現することを目的としています。
ILはその有効性と効率のために顕著になりましたが、従来の方法は、単一の効率的なポリシーを作成するために専門家から収集されたデータセットに焦点を当てることがよくあります。
最近、主に遷移レベルの多様なポリシーの学習や軌跡レベルでエントロピーの最大化を実行することに焦点を当てることにより、多様な行動のデータセットを処理するための拡張機能が提案されています。
これらの方法は多様な行動につながる可能性がありますが、デモンストレーションの実際の多様性を再現したり、制御された軌道の生成を許可するには十分ではない場合があります。
これらの欠点を克服するために、2つの重要な機能に基づいて異なる方法を提案します。a）遷移レベルだけでなく、エピソード全体にわたって一貫した動作を保証する時間的一貫性と、b）ユーザーが要件に基づいて特定の動作を選択できるようにする潜在的な動作空間を構築することで得られる制御可能性。
私たちのアプローチを、さまざまなタスクと環境のセットで最先端の方法と比較します。
プロジェクトページ：https：//mathieu-petitbois.github.io/projects/swr/

要約(オリジナル)

Imitation Learning (IL) techniques aim to replicate human behaviors in specific tasks. While IL has gained prominence due to its effectiveness and efficiency, traditional methods often focus on datasets collected from experts to produce a single efficient policy. Recently, extensions have been proposed to handle datasets of diverse behaviors by mainly focusing on learning transition-level diverse policies or on performing entropy maximization at the trajectory level. While these methods may lead to diverse behaviors, they may not be sufficient to reproduce the actual diversity of demonstrations or to allow controlled trajectory generation. To overcome these drawbacks, we propose a different method based on two key features: a) Temporal Consistency that ensures consistent behaviors across entire episodes and not just at the transition level as well as b) Controllability obtained by constructing a latent space of behaviors that allows users to selectively activate specific behaviors based on their requirements. We compare our approach to state-of-the-art methods over a diverse set of tasks and environments. Project page: https://mathieu-petitbois.github.io/projects/swr/

arxiv情報

著者 Mathieu Petitbois,Rémy Portelas,Sylvain Lamprier,Ludovic Denoyer
発行日 2025-04-25 08:16:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | Offline Learning of Controllable Diverse Behaviors はコメントを受け付けていません

Sampling-Based Grasp and Collision Prediction for Assisted Teleoperation

投稿日: 2025年4月28日 作成者: jarxiv

要約

共有自律性により、人間のオペレーターのグローバルな計画能力と、再現性や正確な制御などのロボットの強みを組み合わせることができます。
リアルタイムのテレオ操作の設定では、共有された自律性の可能性の1つは、人間のオペレーターにラフな動きを決定させ、たとえばオペレーターのビューがオクルドされたときにロボットに細かい調整を行わせることです。
リアルタイムのテレオ操作環境で人間のオペレーターをサポートすることを目的とする共有自律性の学習ベースの概念を提示します。
あらゆるステップで、当社のシステムは、ロボットの動作に影響を与える一連の制約を満たしながら、人間のオペレーターが可能な限り正確に設定したターゲットポーズを追跡します。
重要な特徴は、制約を動的にアクティブ化して非アクティブ化することができ、システムがタスク固有の支援を提供できることです。
システムはリアルタイムでロボットコマンドを生成する必要があるため、すべての反復で最適化問題を解決することは実行不可能です。
代わりに、潜在的なターゲット構成をサンプリングし、各構成の制約コストを予測するためにニューラルネットワークを使用します。
各構成を並行して評価することにより、システムは制約を満たし、最小限の遅延でオペレーターのターゲットポーズまでの最小距離を持つターゲット構成を選択できます。
Robotiqグリッパーを備えた2つのフランカエミカパンダロボットアームを備えた2つのマニュアルセットアップで、ピックアンドプレースタスクでフレームワークを評価します。

要約(オリジナル)

Shared autonomy allows for combining the global planning capabilities of a human operator with the strengths of a robot such as repeatability and accurate control. In a real-time teleoperation setting, one possibility for shared autonomy is to let the human operator decide for the rough movement and to let the robot do fine adjustments, e.g., when the view of the operator is occluded. We present a learning-based concept for shared autonomy that aims at supporting the human operator in a real-time teleoperation setting. At every step, our system tracks the target pose set by the human operator as accurately as possible while at the same time satisfying a set of constraints which influence the robot’s behavior. An important characteristic is that the constraints can be dynamically activated and deactivated which allows the system to provide task-specific assistance. Since the system must generate robot commands in real-time, solving an optimization problem in every iteration is not feasible. Instead, we sample potential target configurations and use Neural Networks for predicting the constraint costs for each configuration. By evaluating each configuration in parallel, our system is able to select the target configuration which satisfies the constraints and has the minimum distance to the operator’s target pose with minimal delay. We evaluate the framework with a pick and place task on a bi-manual setup with two Franka Emika Panda robot arms with Robotiq grippers.

arxiv情報

著者 Simon Manschitz,Berk Gueler,Wei Ma,Dirk Ruiken
発行日 2025-04-25 09:03:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Sampling-Based Grasp and Collision Prediction for Assisted Teleoperation はコメントを受け付けていません

Implementation Analysis of Collaborative Robot Digital Twins in Physics Engines

投稿日: 2025年4月28日 作成者: jarxiv

要約

このペーパーでは、2つのロボットマニピュレーターを非現実的なエンジンの高精度光学赤外線追跡システムと統合する6G通信システムテストベッドのデジタルツイン（DT）を紹介します。
議論されている主要なトピックには、ビデオストリーミング、ロボットオペレーティングシステム2（ROS 2）内の統合、双方向通信が含まれます。
提供される洞察は、ロボット工学と自動化研究におけるDTSの開発と展開をサポートすることを目的としています。

要約(オリジナル)

This paper presents a Digital Twin (DT) of a 6G communications system testbed that integrates two robotic manipulators with a high-precision optical infrared tracking system in Unreal Engine 5. Practical details of the setup and implementation insights provide valuable guidance for users aiming to replicate such systems, an endeavor that is crucial to advancing DT applications within the scientific community. Key topics discussed include video streaming, integration within the Robot Operating System 2 (ROS 2), and bidirectional communication. The insights provided are intended to support the development and deployment of DTs in robotics and automation research.

arxiv情報

著者 Christian König,Jan Petershans,Jan Herbst,Matthias Rüb,Dennis Krummacker,Eric Mittag,Hand D. Schooten
発行日 2025-04-25 09:30:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Implementation Analysis of Collaborative Robot Digital Twins in Physics Engines はコメントを受け付けていません