Robot Deformable Object Manipulation via NMPC-generated Demonstrations in Deep Reinforcement Learning

投稿日: 2025年2月18日 作成者: jarxiv

要約

この作業では、デモンストレーション強化強化学習（RL）に基づいて、ロボットによる変形可能なオブジェクト操作に関する研究を実施しました。
RLの学習効率を向上させるために、複数の側面からのデモデータの利用を強化し、HGCR-DDPGアルゴリズムを提案しました。
把握ポイント選択のために新しい高次元ファジーアプローチ、洗練された動作クローニング方法で、虹色のDDPGでのデータ駆動型学習を強化し、順次政策学習戦略を使用します。
ベースラインアルゴリズム（Rainbow-DDPG）と比較して、提案されたHGCR-DDPGはグローバル平均報酬の2.01倍を達成し、グローバル平均標準偏差をベースラインアルゴリズムの45％に減らしました。
デモンストレーションコレクションの人件費を削減するために、非線形モデル予測制御（NMPC）に基づく低コストのデモコレクション方法を提案しました。
シミュレーション実験結果は、NMPCを介して収集されたデモンストレーションを使用してHGCR-DDPGをトレーニングできることを示しており、人間のデモンストレーションで得られた結果と同等の結果を達成できます。
実際の環境で提案された方法の実現可能性を検証するために、変形可能なオブジェクト操作を含む物理実験を実施しました。
生地を操作して、斜めの折りたたみ、中央軸の折りたたみ、平坦化の3つのタスクを実行しました。
実験結果は、提案された方法が、これら3つのタスクでそれぞれ83.3％、80％、および100％の成功率を達成し、アプローチの有効性を検証したことを示しています。
ロボット操作の現在の大型モデルアプローチと比較して、提案されたアルゴリズムは軽量であり、計算リソースが少なく、特定のタスクにタスク固有のカスタマイズと効率的な適応性を提供します。

要約(オリジナル)

In this work, we conducted research on deformable object manipulation by robots based on demonstration-enhanced reinforcement learning (RL). To improve the learning efficiency of RL, we enhanced the utilization of demonstration data from multiple aspects and proposed the HGCR-DDPG algorithm. It uses a novel high-dimensional fuzzy approach for grasping-point selection, a refined behavior-cloning method to enhance data-driven learning in Rainbow-DDPG, and a sequential policy-learning strategy. Compared to the baseline algorithm (Rainbow-DDPG), our proposed HGCR-DDPG achieved 2.01 times the global average reward and reduced the global average standard deviation to 45% of that of the baseline algorithm. To reduce the human labor cost of demonstration collection, we proposed a low-cost demonstration collection method based on Nonlinear Model Predictive Control (NMPC). Simulation experiment results show that demonstrations collected through NMPC can be used to train HGCR-DDPG, achieving comparable results to those obtained with human demonstrations. To validate the feasibility of our proposed methods in real-world environments, we conducted physical experiments involving deformable object manipulation. We manipulated fabric to perform three tasks: diagonal folding, central axis folding, and flattening. The experimental results demonstrate that our proposed method achieved success rates of 83.3%, 80%, and 100% for these three tasks, respectively, validating the effectiveness of our approach. Compared to current large-model approaches for robot manipulation, the proposed algorithm is lightweight, requires fewer computational resources, and offers task-specific customization and efficient adaptability for specific tasks.

arxiv情報

著者 Haoyuan Wang,Zihao Dong,Hongliang Lei,Zejia Zhang,Weizhuang Shi,Wei Luo,Weiwei Wan,Jian Huang
発行日 2025-02-17 02:41:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Robot Deformable Object Manipulation via NMPC-generated Demonstrations in Deep Reinforcement Learning はコメントを受け付けていません

PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies

投稿日: 2025年2月18日 作成者: jarxiv

要約

多くの現実世界のコントロールの問題には、自律運転からロボットへの操作に至るまで、観測不能な隠されたパラメーターの影響を受けるダイナミクスと目的が含まれます。
これらの種類のドメインを表すために、隠された変数が遷移関数と報酬機能をパラメーター化する順次決定問題をモデル化する隠されたパラメーターマルコフ決定プロセス（HIP-MDP）を採用します。
ドメインランダム化、ドメイン適応、メタラーニングなどの既存のアプローチは、隠されたパラメーターの効果を追加の分散として単純に扱い、特に報酬が隠された変数によってパラメーター化されている場合、HIP-MDPの問題を効果的に処理するのに苦労することが多い
。
明示的なパラメーター推定モジュールを組み込むことにより、既存のモデルベースのアプローチを拡張するモデルベースの強化学習フレームワークである特権Dreamerを紹介します。
特権的なDreamerは、限られた履歴データから隠されたパラメーターを明示的に推定し、これらの推定パラメーターでモデル、アクター、および批評家ネットワークを条件付けることができる新しいデュアルリカレントアーキテクチャを備えています。
5つの多様なHIP-MDPタスクに関する経験的分析は、特権的なドレアマーが最新のモデルベース、モデル、および主要な適応学習アルゴリズムよりも優れていることを示しています。
さらに、提案されたアーキテクチャに各コンポーネントを含めることを正当化するためにアブレーション研究を実施します。

要約(オリジナル)

Numerous real-world control problems involve dynamics and objectives affected by unobservable hidden pa- rameters, ranging from autonomous driving to robotic manipu- lation, which cause performance degradation during sim-to-real transfer. To represent these kinds of domains, we adopt hidden- parameter Markov decision processes (HIP-MDPs), which model sequential decision problems where hidden variables parameterize transition and reward functions. Existing ap- proaches, such as domain randomization, domain adaptation, and meta-learning, simply treat the effect of hidden param- eters as additional variance and often struggle to effectively handle HIP-MDP problems, especially when the rewards are parameterized by hidden variables. We introduce Privileged- Dreamer, a model-based reinforcement learning framework that extends the existing model-based approach by incorporating an explicit parameter estimation module. PrivilegedDreamer features its novel dual recurrent architecture that explicitly estimates hidden parameters from limited historical data and enables us to condition the model, actor, and critic networks on these estimated parameters. Our empirical analysis on five diverse HIP-MDP tasks demonstrates that PrivilegedDreamer outperforms state-of-the-art model-based, model-free, and do- main adaptation learning algorithms. Additionally, we conduct ablation studies to justify the inclusion of each component in the proposed architecture.

arxiv情報

著者 Morgan Byrd,Jackson Crandell,Mili Das,Jessica Inman,Robert Wright,Sehoon Ha
発行日 2025-02-17 02:46:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies はコメントを受け付けていません

Rethinking Latent Representations in Behavior Cloning: An Information Bottleneck Approach for Robot Manipulation

投稿日: 2025年2月18日 作成者: jarxiv

要約

動作クローニング（BC）は、ロボット操作において広く採用されている視覚模倣学習方法です。
現在のBCアプローチは、大規模なデータセットを活用し、追加の視覚的およびテキストモダリティを組み込んで、より多様な情報をキャプチャすることにより、一般化を強化することがよくあります。
ただし、これらの方法は、学習した表現に冗長な情報が含まれているかどうかを見落としており、学習プロセスを導くための強固な理論的基盤がありません。
これらの制限に対処するために、情報理論的視点を採用し、相互情報を導入して、潜在的な表現の冗長性を定量化し、軽減します。
これに基づいて、情報ボトルネック（IB）原則をBCに組み込みます。これにより、タスク関連の機能を維持しながら、無関係な情報を圧縮するための構造化されたフレームワークを提供することにより、冗長性を削減するという考えが拡張されます。
この作業は、IBの一般化可能性をBCに拡張しながら、さまざまな方法、バックボーン、および実験設定にわたる潜在的な表現における冗長性に関する最初の包括的な研究を提示します。
皮質ベンチとリベロのベンチマークの広範な実験と分析は、IBによる大幅なパフォーマンスの改善を示しており、入力データの冗長性を減らし、より実用的なアプリケーションの実用的な価値を強調することの重要性を強調しています。
プロジェクトページ：https：//baishuanghao.github.io/bc-ib.github.io。

要約(オリジナル)

Behavior Cloning (BC) is a widely adopted visual imitation learning method in robot manipulation. Current BC approaches often enhance generalization by leveraging large datasets and incorporating additional visual and textual modalities to capture more diverse information. However, these methods overlook whether the learned representations contain redundant information and lack a solid theoretical foundation to guide the learning process. To address these limitations, we adopt an information-theoretic perspective and introduce mutual information to quantify and mitigate redundancy in latent representations. Building on this, we incorporate the Information Bottleneck (IB) principle into BC, which extends the idea of reducing redundancy by providing a structured framework for compressing irrelevant information while preserving task-relevant features. This work presents the first comprehensive study on redundancy in latent representations across various methods, backbones, and experimental settings, while extending the generalizability of the IB to BC. Extensive experiments and analyses on the CortexBench and LIBERO benchmarks demonstrate significant performance improvements with IB, underscoring the importance of reducing input data redundancy and highlighting its practical value for more practical applications. Project Page: https://baishuanghao.github.io/BC-IB.github.io.

arxiv情報

著者 Shuanghao Bai,Wanqi Zhou,Pengxiang Ding,Wei Zhao,Donglin Wang,Badong Chen
発行日 2025-02-17 04:04:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Rethinking Latent Representations in Behavior Cloning: An Information Bottleneck Approach for Robot Manipulation はコメントを受け付けていません

Verti-Bench: A General and Scalable Off-Road Mobility Benchmark for Vertically Challenging Terrain

投稿日: 2025年2月18日 作成者: jarxiv

要約

オフロードの自治における最近の進歩は、屋外のオフロード環境に自動運動モバイルロボットを展開するという約束を示しています。
励ましの結果は、シミュレートされた実験と実世界の両方の実験から報告されています。
ただし、静的データセットでオフロードの認識タスクを評価するのとは異なり、ベンチマークオフロードモビリティは、車両プラットフォームや地形特性の変動など、さまざまな要因のために依然として大きな課題に直面しています。
さらに、モビリティ評価中に異なる車両とテレインの相互作用を展開する必要があります。これにより、事前に収集されたデータセットと比較する代わりに、モビリティシステムが環境と対話する必要があります。
このホワイトペーパーでは、非常に頑丈で垂直に挑戦的なオフロード環境に焦点を当てたモビリティベンチマークであるVerti-Benchを紹介します。
100のユニークなオフロード環境と、さまざまなジオメトリとセマンティクス、剛性と変形可能な表面、大きな自然障害など、数百万のオフロード地形特性を備えた1000の異なるナビゲーションタスクは、高忠実度の多物理学の標準化された客観的評価を提供します
シミュレーション。
Verti-Benchは、異なるスケールと作動メカニズムを備えたさまざまな車両プラットフォームにもスケーラブルです。
また、専門家のデモンストレーション、ランダム探査、障害ケース（ロールオーバーと行き詰まり）、および強化学習のためのジムのようなインターフェイスからのデータセットも提供します。
Verti-Benchを使用して、10のオフロードモビリティシステムをベンチマークし、調査結果を提示し、将来のオフロードモビリティの研究方向を特定します。

要約(オリジナル)

Recent advancement in off-road autonomy has shown promises in deploying autonomous mobile robots in outdoor off-road environments. Encouraging results have been reported from both simulated and real-world experiments. However, unlike evaluating off-road perception tasks on static datasets, benchmarking off-road mobility still faces significant challenges due to a variety of factors, including variations in vehicle platforms and terrain properties. Furthermore, different vehicle-terrain interactions need to be unfolded during mobility evaluation, which requires the mobility systems to interact with the environments instead of comparing against a pre-collected dataset. In this paper, we present Verti-Bench, a mobility benchmark that focuses on extremely rugged, vertically challenging off-road environments. 100 unique off-road environments and 1000 distinct navigation tasks with millions of off-road terrain properties, including a variety of geometry and semantics, rigid and deformable surfaces, and large natural obstacles, provide standardized and objective evaluation in high-fidelity multi-physics simulation. Verti-Bench is also scalable to various vehicle platforms with different scales and actuation mechanisms. We also provide datasets from expert demonstration, random exploration, failure cases (rolling over and getting stuck), as well as a gym-like interface for reinforcement learning. We use Verti-Bench to benchmark ten off-road mobility systems, present our findings, and identify future off-road mobility research directions.

arxiv情報

著者 Tong Xu,Chenhui Pan,Madhan B. Rao,Aniket Datar,Anuj Pokhrel,Yuanjie Lu,Xuesu Xiao
発行日 2025-02-17 04:37:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Verti-Bench: A General and Scalable Off-Road Mobility Benchmark for Vertically Challenging Terrain はコメントを受け付けていません

Continual Adaptation for Autonomous Driving with the Mixture of Progressive Experts Network

投稿日: 2025年2月18日 作成者: jarxiv

要約

学習ベースの自律運転には、複雑なトラフィックにおける多様な知識を継続的に統合する必要がありますが、既存の方法は適応能力に大きな制限を示します。
このギャップに対処するには、動的な調整を通じて進化する環境相互作用を通じて継続的な適応を可能にする自律運転システムが必要です。
これは、システムの適応性を向上させるための継続的な学習能力を強化する必要性を強調しています。
これらの課題に対処するために、このペーパーでは、データ集約のための補強学習と監視された学習を統合することによって達成される動的環境の変動への適応を促進する動的なプログレッシブ最適化フレームワークを紹介します。
このフレームワークに基づいて、プログレッシブエキスパート（MOPE）ネットワークの混合を提案します。
提案された方法は、各タスクの明確な特性に基づいて複数のエキスパートモデルを選択的にアクティブにし、ネットワークアーキテクチャを徐々に改良して、新しいタスクへの適応を促進します。
シミュレーション結果は、MOPEモデルが動作のクローニング方法を上回り、複雑な都市道路環境で最大7.8％のパフォーマンス改善を達成することを示しています。

要約(オリジナル)

Learning-based autonomous driving requires continuous integration of diverse knowledge in complex traffic , yet existing methods exhibit significant limitations in adaptive capabilities. Addressing this gap demands autonomous driving systems that enable continual adaptation through dynamic adjustments to evolving environmental interactions. This underscores the necessity for enhanced continual learning capabilities to improve system adaptability. To address these challenges, the paper introduces a dynamic progressive optimization framework that facilitates adaptation to variations in dynamic environments, achieved by integrating reinforcement learning and supervised learning for data aggregation. Building on this framework, we propose the Mixture of Progressive Experts (MoPE) network. The proposed method selectively activates multiple expert models based on the distinct characteristics of each task and progressively refines the network architecture to facilitate adaptation to new tasks. Simulation results show that the MoPE model outperforms behavior cloning methods, achieving up to a 7.8% performance improvement in intricate urban road environments.

arxiv情報

著者 Yixin Cui,Shuo Yang,Chi Wan,Xincheng Li,Jiaming Xing,Yuanjian Zhang,Yanjun Huang,Hong Chen
発行日 2025-02-17 04:48:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Continual Adaptation for Autonomous Driving with the Mixture of Progressive Experts Network はコメントを受け付けていません

Learning Dexterous Bimanual Catch Skills through Adversarial-Cooperative Heterogeneous-Agent Reinforcement Learning

投稿日: 2025年2月18日 作成者: jarxiv

要約

ロボットキャッチングは、伝統的に片手システムに焦点を当ててきました。片手システムは、より大きいまたはより複雑なオブジェクトを処理する能力が制限されています。
対照的に、二近のキャッチは、器用さとオブジェクトの取り扱いを改善するための重要な可能性を提供しますが、調整と制御に新しい課題をもたらします。
この論文では、不均一なエージェント補強学習（HARL）を使用して、器用な双方向キャッチスキルを学習するための新しいフレームワークを提案します。
私たちのアプローチでは、スローエージェントがスロー調整の難しさを高める敵対的な報酬スキームを導入します。漁獲エージェントがこれらの進化する条件下でオブジェクトを捕まえるために両手を調整することを学びます。
15の異なるオブジェクトを使用して、シミュレートされた環境でフレームワークを評価し、多様なオブジェクトの処理において堅牢性と汎用性を示します。
私たちの方法は、15の多様なオブジェクトにわたる単一エージェントのベースラインと比較して、キャッチング報酬が約2倍増加しました。

要約(オリジナル)

Robotic catching has traditionally focused on single-handed systems, which are limited in their ability to handle larger or more complex objects. In contrast, bimanual catching offers significant potential for improved dexterity and object handling but introduces new challenges in coordination and control. In this paper, we propose a novel framework for learning dexterous bimanual catching skills using Heterogeneous-Agent Reinforcement Learning (HARL). Our approach introduces an adversarial reward scheme, where a throw agent increases the difficulty of throws-adjusting speed-while a catch agent learns to coordinate both hands to catch objects under these evolving conditions. We evaluate the framework in simulated environments using 15 different objects, demonstrating robustness and versatility in handling diverse objects. Our method achieved approximately a 2x increase in catching reward compared to single-agent baselines across 15 diverse objects.

arxiv情報

著者 Taewoo Kim,Youngwoo Yoon,Jaehong Kim
発行日 2025-02-17 04:50:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Learning Dexterous Bimanual Catch Skills through Adversarial-Cooperative Heterogeneous-Agent Reinforcement Learning はコメントを受け付けていません

Doppler Correspondence: Non-Iterative Scan Matching With Doppler Velocity-Based Correspondence

投稿日: 2025年2月18日 作成者: jarxiv

要約

スキャンマッチングの成功を達成することは、Lidar臭気に不可欠です。
ただし、有害な気象条件や繰り返しの幾何学的パターンを備えた挑戦的な環境では、スキャンのマッチングが誤っているため、Lidar臭気性の性能が低下します。
最近、周波数変調された連続波4D LIDARおよび4Dレーダーテクノロジーの出現により、これらの不利な条件に対処する可能性が提供されました。
4Dという用語は、ドップラー速度とともに範囲、方位角、および標高によって特徴付けられるポイントクラウドデータを指します。
4Dデータは利用可能ですが、4D LIDARと4Dレーダーのほとんどのスキャンマッチング方法は、連続したスキャン間の最も近いポイントを繰り返し識別し、ドップラー情報を見落とすことにより、依然として対応を確立します。
このペーパーでは、幾何学的および運動学的基礎を備えたセンサーの翻訳と小さな回転に不変である、単純なドップラー速度ベースの対応 – ドップラーの対応 – を初めて紹介します。
広範な実験は、提案された方法により、反復プロセスなしで連続したポイントクラウドの直接的な一致が可能になり、計算上効率を高めることができることを示しています。
さらに、幾何学的なパターンを備えた環境で、より堅牢な対応推定を提供します。

要約(オリジナル)

Achieving successful scan matching is essential for LiDAR odometry. However, in challenging environments with adverse weather conditions or repetitive geometric patterns, LiDAR odometry performance is degraded due to incorrect scan matching. Recently, the emergence of frequency-modulated continuous wave 4D LiDAR and 4D radar technologies has provided the potential to address these unfavorable conditions. The term 4D refers to point cloud data characterized by range, azimuth, and elevation along with Doppler velocity. Although 4D data is available, most scan matching methods for 4D LiDAR and 4D radar still establish correspondence by repeatedly identifying the closest points between consecutive scans, overlooking the Doppler information. This paper introduces, for the first time, a simple Doppler velocity-based correspondence — Doppler Correspondence — that is invariant to translation and small rotation of the sensor, with its geometric and kinematic foundations. Extensive experiments demonstrate that the proposed method enables the direct matching of consecutive point clouds without an iterative process, making it computationally efficient. Additionally, it provides a more robust correspondence estimation in environments with repetitive geometric patterns.

arxiv情報

著者 Jiwoo Kim,Geunsik Bae,Changseung Kim,Jinwoo Lee,Woojae Shin,Hyondong Oh
発行日 2025-02-17 05:37:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Doppler Correspondence: Non-Iterative Scan Matching With Doppler Velocity-Based Correspondence はコメントを受け付けていません

Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation

投稿日: 2025年2月18日 作成者: jarxiv

要約

特にタスクの障害からの不完全なデータのためのデータ利用の改善は、現実世界での挑戦的で時間がかかり、高価なデータ収集プロセスのためにロボット操作に重要です。
現在の模倣学習（IL）は通常、不完全なデータを破棄し、成功した専門家データのみに焦点を当てています。
強化学習（RL）は探索と障害から学ぶことができますが、SIM2REALギャップと密な報酬とオンライン探査への依存により、実際のシナリオで効果的に適用することが困難になります。
この作業では、オフラインでロボット操作のモデルパフォーマンスを改善するための報酬情報を必要とせずに、不完全なデータを活用するという課題を征服することを目指しています。
具体的には、エキスパートと不完全なデータを組み合わせて、失敗した軌道セグメントの品質スコアを計算する自己監視データフィルタリングフレームワーク（SSDF）を導入します。
故障したデータからの高品質のセグメントは、トレーニングデータセットを拡張するために使用されます。
次に、強化されたデータセットを、ロボット操作タスクの下流のポリシー学習方法で使用できます。
フランカロボットアームを使用して、高忠実度Sapienシミュレーターと実世界のロボット操作タスクに基づいて構築されたManiskill2ベンチマークに関する広範な実験により、SSDFは高品質の不完全なデータでトレーニングデータセットを正確に拡張し、すべてのロボットの成功率を改善できることが示されました。
操作タスク。

要約(オリジナル)

Improving data utilization, especially for imperfect data from task failures, is crucial for robotic manipulation due to the challenging, time-consuming, and expensive data collection process in the real world. Current imitation learning (IL) typically discards imperfect data, focusing solely on successful expert data. While reinforcement learning (RL) can learn from explorations and failures, the sim2real gap and its reliance on dense reward and online exploration make it difficult to apply effectively in real-world scenarios. In this work, we aim to conquer the challenge of leveraging imperfect data without the need for reward information to improve the model performance for robotic manipulation in an offline manner. Specifically, we introduce a Self-Supervised Data Filtering framework (SSDF) that combines expert and imperfect data to compute quality scores for failed trajectory segments. High-quality segments from the failed data are used to expand the training dataset. Then, the enhanced dataset can be used with any downstream policy learning method for robotic manipulation tasks. Extensive experiments on the ManiSkill2 benchmark built on the high-fidelity Sapien simulator and real-world robotic manipulation tasks using the Franka robot arm demonstrated that the SSDF can accurately expand the training dataset with high-quality imperfect data and improve the success rates for all robotic manipulation tasks.

arxiv情報

著者 Kun Wu,Ning Liu,Zhen Zhao,Di Qiu,Jinming Li,Zhengping Che,Zhiyuan Xu,Qinru Qiu,Jian Tang
発行日 2025-02-17 06:41:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO, I.2.9 | Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation はコメントを受け付けていません

Anti-Degeneracy Scheme for Lidar SLAM based on Particle Filter in Geometry Feature-Less Environments

投稿日: 2025年2月18日 作成者: jarxiv

要約

粒子フィルタリングに基づく同時ローカリゼーションとマッピング（SLAM）は、その高効率のため、屋内シナリオで広く採用されています。
ただし、ジオメトリの特徴のないシーンでは、制約の欠如により精度が大幅に低下します。
この記事では、深い学習に基づいて偏系系統システムを提案します。
第一に、連続空間内の座標を離散インデックスに変換するためにスケール不変の線形マッピングを設計します。そこでは、ガウスモデルに基づくデータ増強法が提案され、モデルのパフォーマンスを確保し、粒子数の変化の影響を効果的に軽減することにより、モデルのパフォーマンスを確保することが提案されています。
機能分布。
第二に、粒子集団の分布を精査することにより縮退を特定できる残留ニューラルネットワーク（ResNet）と変圧器を使用して、変性検出モデルを開発します。
第三に、適応的な抗ゲネラシー戦略が設計されています。これは、最初にリザンププロセスで融合と摂動を実行し、ポーズ最適化の豊富で正確な初期値を提供し、粗と細かいマッチングを組み合わせた階層的なポーズ最適化を使用します。
グローバルな最適なポーズを検索する能力を高めるために、最適化頻度とセンサーの信頼性を退化の程度に従って調整します。
最後に、モデルの最適性、およびアブレーション実験を通じて計算時間における画像マトリックス法とGPUの改善を実証し、シミュレーション実験と実際の実験を通じて、さまざまなシナリオでの偏系システムのパフォーマンスを検証します。
この作業は、公開のためにIEEEに提出されました。
著作権は予告なしに転送される場合があります。その後、このバージョンは利用できなくなる可能性があります。

要約(オリジナル)

Simultaneous localization and mapping (SLAM) based on particle filtering has been extensively employed in indoor scenarios due to its high efficiency. However, in geometry feature-less scenes, the accuracy is severely reduced due to lack of constraints. In this article, we propose an anti-degeneracy system based on deep learning. Firstly, we design a scale-invariant linear mapping to convert coordinates in continuous space into discrete indexes, in which a data augmentation method based on Gaussian model is proposed to ensure the model performance by effectively mitigating the impact of changes in the number of particles on the feature distribution. Secondly, we develop a degeneracy detection model using residual neural networks (ResNet) and transformer which is able to identify degeneracy by scrutinizing the distribution of the particle population. Thirdly, an adaptive anti-degeneracy strategy is designed, which first performs fusion and perturbation on the resample process to provide rich and accurate initial values for the pose optimization, and use a hierarchical pose optimization combining coarse and fine matching, which is able to adaptively adjust the optimization frequency and the sensor trustworthiness according to the degree of degeneracy, in order to enhance the ability of searching the global optimal pose. Finally, we demonstrate the optimality of the model, as well as the improvement of the image matrix method and GPU on the computation time through ablation experiments, and verify the performance of the anti-degeneracy system in different scenarios through simulation experiments and real experiments. This work has been submitted to IEEE for publication. Copyright may be transferred without notice, after which this version may no longer be available.

arxiv情報

著者 Yanbin Li,Wei Zhang,Zhiguo Zhang,Xiaogang Shi,Ziruo Li,Mingming Zhang,Hongping Xie,Wenzheng Chi
発行日 2025-02-17 06:42:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Anti-Degeneracy Scheme for Lidar SLAM based on Particle Filter in Geometry Feature-Less Environments はコメントを受け付けていません

SurgPose: a Dataset for Articulated Robotic Surgical Tool Pose Estimation and Tracking

投稿日: 2025年2月18日 作成者: jarxiv

要約

正確かつ効率的な外科的ロボットツールのポーズ推定は、外科的訓練や学習ベースの自律操作における拡張現実（AR）などのダウンストリームアプリケーションにとって根本的な重要性です。
人間と動物のポーズ推定において大きな進歩がなされていますが、公開されたデータが不足しているため、外科的ロボット工学の課題です。
Da Vinci End Effector Kinematicsと困難なキャリブレーション手順の比較的大きな絶対誤差により、校正された運動学のデータ収集が高価になります。
この制限に駆られ、Surposeと呼ばれるデータセットを収集し、視覚的な外科的ツールのポーズ推定と追跡のために、インスタンスに認識されたセマンティックキーポイントとスケルトンを提供しました。
紫外線（UV）反応塗料を使用してキーポイントをマークすることにより、白色光の下では見えず、UV光の下で蛍光を発します。異なる照明条件下で同じ軌跡を実行して、それぞれ生ビデオとキーポイント注釈を収集します。
Surposeデータセットは、6つのカテゴリの約120kの手術器具インスタンス（トレーニングでは80k、検証用）で構成されています。
各機器インスタンスには、7つのセマンティックキーポイントが付いています。
ビデオはステレオペアで収集されるため、2Dポーズをステレオマッチングの深さに基づいて3Dに持ち上げることができます。
データセットのリリースに加えて、外科用品追跡に対するいくつかのベースラインアプローチをテストして、外科の有用性を実証します。
詳細については、surpose.github.ioをご覧ください。

要約(オリジナル)

Accurate and efficient surgical robotic tool pose estimation is of fundamental significance to downstream applications such as augmented reality (AR) in surgical training and learning-based autonomous manipulation. While significant advancements have been made in pose estimation for humans and animals, it is still a challenge in surgical robotics due to the scarcity of published data. The relatively large absolute error of the da Vinci end effector kinematics and arduous calibration procedure make calibrated kinematics data collection expensive. Driven by this limitation, we collected a dataset, dubbed SurgPose, providing instance-aware semantic keypoints and skeletons for visual surgical tool pose estimation and tracking. By marking keypoints using ultraviolet (UV) reactive paint, which is invisible under white light and fluorescent under UV light, we execute the same trajectory under different lighting conditions to collect raw videos and keypoint annotations, respectively. The SurgPose dataset consists of approximately 120k surgical instrument instances (80k for training and 40k for validation) of 6 categories. Each instrument instance is labeled with 7 semantic keypoints. Since the videos are collected in stereo pairs, the 2D pose can be lifted to 3D based on stereo-matching depth. In addition to releasing the dataset, we test a few baseline approaches to surgical instrument tracking to demonstrate the utility of SurgPose. More details can be found at surgpose.github.io.

arxiv情報

著者 Zijian Wu,Adam Schmidt,Randy Moore,Haoying Zhou,Alexandre Banks,Peter Kazanzides,Septimiu E. Salcudean
発行日 2025-02-17 08:04:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | SurgPose: a Dataset for Articulated Robotic Surgical Tool Pose Estimation and Tracking はコメントを受け付けていません