Emergency-Brake Simplex: Toward A Verifiably Safe Control-CPS Architecture for Abrupt Runtime Reachability Constraint Changes

投稿日: 2025年3月25日 作成者: jarxiv

要約

システムの制約が突然変化すると、システムの到達可能性の安全性はもはや維持されません。
したがって、システムは禁じられた/危険な価値に達することができます。
従来の救済策は、実際にオンラインコントローラー再設計（OCR）を含むために、通常は遅すぎる新しい制約に対する到達可能性のコンプライアンスを再確立します。
到達可能性の制約のランタイムの変更を管理できるオンライン戦略が必要です。
ただし、著者の知識を最大限に活用して、このトピックは既存の文献では対処されていません。
このホワイトペーパーでは、ランタイムでシステムの到達可能性の安全性を回復するための高速障害トレランス戦略を提案します。
システムのコントローラーを再設計する代わりに、システムの参照状態を変更して、新しい制約に準拠するシステムの到達可能性を変更することを提案します。
参照状態検索を最適化問題としてフレーム化し、Karush-Kuhn-Tucker（KKT）メソッドと、高速ソリューションの導出のためにインテリアポイントメソッド（IPM）ベースのニュートンの方法（KKTメソッドのフォールバックとして）を採用します。
また、最適化により、将来の障害のトレランスが可能になります。
数値シミュレーションは、私たちの方法が、計算効率と成功率の観点から従来のOCR法を上回ることを示しています。
具体的には、提案された方法がソリューション$ 10^{2} $（IPMベースのニュートンの方法で）$ \ sim 10^{4} $（KKTメソッドを使用）をOCRメソッドよりも速く見つけることを示しています。
さらに、OCRメソッドに対するメソッドの成功率の改善率は、実行時間の締め切りを考慮せずに40.81 \％$ $ $ 40.81 \％$です。
成功率は、提案された方法では49.44 \％$ $のままですが、$ 1.5の期限が\;
秒$が課されます。

要約(オリジナル)

When a system’s constraints change abruptly, the system’s reachability safety does no longer sustain. Thus, the system can reach a forbidden/dangerous value. Conventional remedy practically involves online controller redesign (OCR) to re-establish the reachability’s compliance with the new constraints, which, however, is usually too slow. There is a need for an online strategy capable of managing runtime changes in reachability constraints. However, to the best of the authors’ knowledge, this topic has not been addressed in the existing literature. In this paper, we propose a fast fault tolerance strategy to recover the system’s reachability safety in runtime. Instead of redesigning the system’s controller, we propose to change the system’s reference state to modify the system’s reachability to comply with the new constraints. We frame the reference state search as an optimization problem and employ the Karush-Kuhn-Tucker (KKT) method as well as the Interior Point Method (IPM) based Newton’s method (as a fallback for the KKT method) for fast solution derivation. The optimization also allows more future fault tolerance. Numerical simulations demonstrate that our method outperforms the conventional OCR method in terms of computational efficiency and success rate. Specifically, the results show that the proposed method finds a solution $10^{2}$ (with the IPM based Newton’s method) $\sim 10^{4}$ (with the KKT method) times faster than the OCR method. Additionally, the improvement rate of the success rate of our method over the OCR method is $40.81\%$ without considering the deadline of run time. The success rate remains at $49.44\%$ for the proposed method, while it becomes $0\%$ for the OCR method when a deadline of $1.5 \; seconds$ is imposed.

arxiv情報

著者 Henghua Shen,Qixin Wang
発行日 2025-03-24 07:44:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Emergency-Brake Simplex: Toward A Verifiably Safe Control-CPS Architecture for Abrupt Runtime Reachability Constraint Changes はコメントを受け付けていません

Humanoid Policy ~ Human Policy

投稿日: 2025年3月25日 作成者: jarxiv

要約

さまざまなデータを使用したヒューマノイドロボットのトレーニング操作ポリシーは、タスクとプラットフォーム全体でその堅牢性と一般化を強化します。
ただし、ロボットデモンストレーションのみから学習することは労働集約的であり、拡張が困難な高価なテレ操作データ収集が必要です。
このペーパーでは、よりスケーラブルなデータソースであるエゴセントリックな人間のデモを調査して、ロボット学習のための交差層間トレーニングデータとして機能します。
データとモデリングの視点の両方から、ヒューマノイドとヒトの間の具体化のギャップを緩和します。
ヒューマノイド操作のデモと直接整合するエゴセントリックタスク指向のデータセット（PH2D）を収集します。
次に、人間のアクショントランス（HAT）と呼ばれる人間のヒューマノイド行動ポリシーを訓練します。
帽子の状態空間は、人間とヒューマノイドの両方のロボットの両方で統一されており、ロボットアクションに異なるリターゲットになる可能性があります。
小規模なロボットデータと共同訓練されたHat Hatは、ヒューマノイドロボットと人間を追加の監督なしで異なる実施形態として直接モデル化します。
人間のデータが、データ収集の効率が大幅に向上し、帽子の一般化と堅牢性の両方を改善することを示しています。
コードとデータ：https：//human-as-robot.github.io/

要約(オリジナル)

Training manipulation policies for humanoid robots with diverse data enhances their robustness and generalization across tasks and platforms. However, learning solely from robot demonstrations is labor-intensive, requiring expensive tele-operated data collection which is difficult to scale. This paper investigates a more scalable data source, egocentric human demonstrations, to serve as cross-embodiment training data for robot learning. We mitigate the embodiment gap between humanoids and humans from both the data and modeling perspectives. We collect an egocentric task-oriented dataset (PH2D) that is directly aligned with humanoid manipulation demonstrations. We then train a human-humanoid behavior policy, which we term Human Action Transformer (HAT). The state-action space of HAT is unified for both humans and humanoid robots and can be differentiably retargeted to robot actions. Co-trained with smaller-scale robot data, HAT directly models humanoid robots and humans as different embodiments without additional supervision. We show that human data improves both generalization and robustness of HAT with significantly better data collection efficiency. Code and data: https://human-as-robot.github.io/

arxiv情報

著者 Ri-Zhao Qiu,Shiqi Yang,Xuxin Cheng,Chaitanya Chawla,Jialong Li,Tairan He,Ge Yan,David J. Yoon,Ryan Hoque,Lars Paulsen,Ge Yang,Jian Zhang,Sha Yi,Guanya Shi,Xiaolong Wang
発行日 2025-03-24 08:31:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.RO | Humanoid Policy ~ Human Policy はコメントを受け付けていません

AVOCADO: Adaptive Optimal Collision Avoidance driven by Opinion

投稿日: 2025年3月25日 作成者: jarxiv

要約

環境内の他のエージェントがどのように協力的であるかをロボットが知らない場合、ホロノミックロボットの衝突回避に対処するための新しいナビゲーションアプローチであるアボカド（Adaptive Optimal Collision Esinasance）を提示します。
アボカドは、最適な相互衝突回避方法に似た速度障害物（VO）の定式化から出発します。
ただし、相互関係を想定する代わりに、他のロボットやエージェントの協力レベルにリアルタイムで適応するための適応制御の問題を提起します。
これは、センサーの観察のみに依存する新しい非線形意見ダイナミクスデザインによって達成されます。
副産物として、意見のダイナミクス定式化からツールを活用して、通常、VOベースのプランナーに苦しむ幾何学的に対称的なシナリオのデッドロックを自然に回避します。
広範な数値シミュレーションは、アボカドが成功率、目標までの時間、計算時間の観点から、混合協同/非協同組合ナビゲーション環境の既存のモーションプランナーを上回ることを示しています。
さらに、アボカドが他のロボットや人間と混雑した環境での衝突を回避できることを確認する複数の実際の実験を実施します。

要約(オリジナル)

We present AVOCADO (AdaptiVe Optimal Collision Avoidance Driven by Opinion), a novel navigation approach to address holonomic robot collision avoidance when the robot does not know how cooperative the other agents in the environment are. AVOCADO departs from a Velocity Obstacle’s (VO) formulation akin to the Optimal Reciprocal Collision Avoidance method. However, instead of assuming reciprocity, it poses an adaptive control problem to adapt to the cooperation level of other robots and agents in real time. This is achieved through a novel nonlinear opinion dynamics design that relies solely on sensor observations. As a by-product, we leverage tools from the opinion dynamics formulation to naturally avoid the deadlocks in geometrically symmetric scenarios that typically suffer VO-based planners. Extensive numerical simulations show that AVOCADO surpasses existing motion planners in mixed cooperative/non-cooperative navigation environments in terms of success rate, time to goal and computational time. In addition, we conduct multiple real experiments that verify that AVOCADO is able to avoid collisions in environments crowded with other robots and humans.

arxiv情報

著者 Diego Martinez-Baselga,Eduardo Sebastián,Eduardo Montijano,Luis Riazuelo,Carlos Sagüés,Luis Montano
発行日 2025-03-24 09:34:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | AVOCADO: Adaptive Optimal Collision Avoidance driven by Opinion はコメントを受け付けていません

Improving robot navigation in crowded environments using intrinsic rewards

投稿日: 2025年3月25日 作成者: jarxiv

要約

混雑した環境における自律的なナビゲーションは、多くのアプリケーションで開かれた問題であり、未来のスマートシティにおけるロボットと人間の共存に不可欠です。
近年、深い強化学習アプローチは、モデルベースのアルゴリズムを上回ることが証明されています。
それにもかかわらず、提供された結果は有望ですが、作品はモデルが提供する機能を活用することはできません。
彼らは通常、トレーニングプロセスでローカルオプティマに閉じ込められ、最適なポリシーを学ぶことを妨げます。
彼らは、目標近くの州や動的な障害物の近くなど、すべての可能な状態を適切に訪問してやり取りすることができません。
この作業では、エージェントが訓練された時間ではなく、国家の不確実性に応じて、探査と搾取のバランスをとるために、本質的な報酬を使用して探索と探索を提案し、エージェントが未知の州についてより興味を持っているように奨励します。
アプローチの利点を説明し、クラウドナビゲーションに使用できる他の探索アルゴリズムと比較します。
多くのシミュレーション実験は、最先端のいくつかのアルゴリズムを変更して実行され、本質的な報酬を使用すると、ロボットがより速く学習し、より短いナビゲーション時間でより高い報酬と成功率（より少ない衝突）に到達し、最先端を上回ることが示されています。

要約(オリジナル)

Autonomous navigation in crowded environments is an open problem with many applications, essential for the coexistence of robots and humans in the smart cities of the future. In recent years, deep reinforcement learning approaches have proven to outperform model-based algorithms. Nevertheless, even though the results provided are promising, the works are not able to take advantage of the capabilities that their models offer. They usually get trapped in local optima in the training process, that prevent them from learning the optimal policy. They are not able to visit and interact with every possible state appropriately, such as with the states near the goal or near the dynamic obstacles. In this work, we propose using intrinsic rewards to balance between exploration and exploitation and explore depending on the uncertainty of the states instead of on the time the agent has been trained, encouraging the agent to get more curious about unknown states. We explain the benefits of the approach and compare it with other exploration algorithms that may be used for crowd navigation. Many simulation experiments are performed modifying several algorithms of the state-of-the-art, showing that the use of intrinsic rewards makes the robot learn faster and reach higher rewards and success rates (fewer collisions) in shorter navigation times, outperforming the state-of-the-art.

arxiv情報

著者 Diego Martinez-Baselga,Luis Riazuelo,Luis Montano
発行日 2025-03-24 09:47:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Improving robot navigation in crowded environments using intrinsic rewards はコメントを受け付けていません

P3Nav: A Unified Framework for Embodied Navigation Integrating Perception, Planning, and Prediction

投稿日: 2025年3月25日 作成者: jarxiv

要約

言語誘導ビジュアルナビゲーションでは、エージェントは自然言語の指示を使用して、目に見えない環境でターゲットオブジェクトを見つけます。
なじみのないシーンでの信頼できるナビゲーションのために、エージェントは強力な認識、計画、および予測機能を持っている必要があります。
さらに、エージェントが長期航行中に以前に調査した領域を再検討した場合、それらは無関係で冗長な歴史的認識を保持し、最適ではない結果につながる可能性があります。
この作業では、\ textbf {p} erception、\ textbf {p} lanning、および\ textbf {p}のrediction機能を統合する統合された統合フレームワークである\ textbf {p3nav}を紹介します。
さらに、P3NAVは\ TextBF {Adaptive 3D-Aware History Sampling}戦略を採用して、歴史的観察を効果的かつ効率的に利用します。
大規模な言語モデル（LLM）を活用することにより、P3NAVは多様なコマンドと複雑な視覚シーンを理解し、適切なナビゲーションアクションをもたらします。
P3NAVは、$ \ mathrm {chores} $ – $ \ mathbb {s} $ベンチマークでオブジェクトゴールナビゲーションで75 \％の成功率を達成し、新しい最先端のパフォーマンスを設定します。

要約(オリジナル)

In language-guided visual navigation, agents locate target objects in unseen environments using natural language instructions. For reliable navigation in unfamiliar scenes, agents must possess strong perception, planning, and prediction capabilities. Additionally, when agents revisit previously explored areas during long-term navigation, they may retain irrelevant and redundant historical perceptions, leading to suboptimal results. In this work, we introduce \textbf{P3Nav}, a unified framework that integrates \textbf{P}erception, \textbf{P}lanning, and \textbf{P}rediction capabilities through \textbf{Multitask Collaboration} on navigation and embodied question answering (EQA) tasks, thereby enhancing navigation performance. Furthermore, P3Nav employs an \textbf{Adaptive 3D-aware History Sampling} strategy to effectively and efficiently utilize historical observations. By leveraging the large language models (LLM), P3Nav comprehends diverse commands and complex visual scenes, resulting in appropriate navigation actions. P3Nav achieves a 75\% success rate in object goal navigation on the $\mathrm{CHORES}$-$\mathbb{S}$ benchmark, setting a new state-of-the-art performance.

arxiv情報

著者 Yufeng Zhong,Chengjian Feng,Feng Yan,Fanfan Liu,Liming Zheng,Lin Ma
発行日 2025-03-24 10:29:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | P3Nav: A Unified Framework for Embodied Navigation Integrating Perception, Planning, and Prediction はコメントを受け付けていません

Evolution 6.0: Evolving Robotic Capabilities Through Generative Design

投稿日: 2025年3月25日 作成者: jarxiv

要約

生成AIによって駆動されるロボット工学の進化を表す新しい概念であるEvolution 6.0を提案します。
ロボットに人間が要求するタスクを達成するために必要なツールがない場合、必要な機器を自律的に設計し、それらを使用して目標を達成する方法を学びます。
Evolution 6.0は、Vision-Language Models（VLMS）、Vision-Language Action（VLA）モデル、およびツール設計とタスク実行のためのテキストから3Dの生成モデルを搭載した自律的なロボットシステムです。
このシステムは、視覚データとテキストデータからタスク固有のツールを製造するツール生成モジュールと、自然言語の指示をロボットアクションに変換するアクション生成モジュールの2つの重要なモジュールで構成されています。
環境理解用のQWENVLM、タスク実行のためのOpenVLA、3Dツール生成のLlama-Meshを統合します。
評価の結果は、10秒の推論時間と、物理的および視覚的一般化で83.5％、動きの一般化で70％、意味一般化で37％を達成するためのツール生成の90％の成功率を示しています。
将来の改善により、二マニュアル操作、タスク機能の拡大、環境解釈の強化に焦点を当て、実際の適応性を向上させます。

要約(オリジナル)

We propose a new concept, Evolution 6.0, which represents the evolution of robotics driven by Generative AI. When a robot lacks the necessary tools to accomplish a task requested by a human, it autonomously designs the required instruments and learns how to use them to achieve the goal. Evolution 6.0 is an autonomous robotic system powered by Vision-Language Models (VLMs), Vision-Language Action (VLA) models, and Text-to-3D generative models for tool design and task execution. The system comprises two key modules: the Tool Generation Module, which fabricates task-specific tools from visual and textual data, and the Action Generation Module, which converts natural language instructions into robotic actions. It integrates QwenVLM for environmental understanding, OpenVLA for task execution, and Llama-Mesh for 3D tool generation. Evaluation results demonstrate a 90% success rate for tool generation with a 10-second inference time, and action generation achieving 83.5% in physical and visual generalization, 70% in motion generalization, and 37% in semantic generalization. Future improvements will focus on bimanual manipulation, expanded task capabilities, and enhanced environmental interpretation to improve real-world adaptability.

arxiv情報

著者 Muhammad Haris Khan,Artyom Myshlyaev,Artem Lykov,Miguel Altamirano Cabrera,Dzmitry Tsetserukou
発行日 2025-03-24 10:31:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.NE, cs.RO | Evolution 6.0: Evolving Robotic Capabilities Through Generative Design はコメントを受け付けていません

Parental Guidance: Efficient Lifelong Learning through Evolutionary Distillation

投稿日: 2025年3月25日 作成者: jarxiv

要約

さまざまな動作を示しながら、さまざまな環境でうまく機能することができるロボットエージェントの開発は、AIとロボット工学の重要な課題です。
従来の強化学習（RL）方法は、多くの場合、狭いタスクに特化したエージェントを作成し、適応性と多様性を制限します。
これを克服するために、自然種の繁殖、多様性、専門化のバランスをとるように、繁殖モジュールを含む、予備的な進化に触発されたフレームワークを提案します。
RL、模倣学習（IL）、および共進化エージェントテレインカリキュラムを統合することにより、システムは複雑なタスクを通じてエージェントを継続的に進化させます。
このアプローチは、適応性、有用な特性の継承、および継続的な学習を促進します。
エージェントは、継承されたスキルを改善するだけでなく、前任者を上回ります。
私たちの最初の実験は、この方法が探査効率を改善し、オープンエンドの学習をサポートすることを示しており、多様な地形環境と組み合わされたまばらな報酬がマルチタスク設定を誘発するスケーラブルなソリューションを提供します。

要約(オリジナル)

Developing robotic agents that can perform well in diverse environments while showing a variety of behaviors is a key challenge in AI and robotics. Traditional reinforcement learning (RL) methods often create agents that specialize in narrow tasks, limiting their adaptability and diversity. To overcome this, we propose a preliminary, evolution-inspired framework that includes a reproduction module, similar to natural species reproduction, balancing diversity and specialization. By integrating RL, imitation learning (IL), and a coevolutionary agent-terrain curriculum, our system evolves agents continuously through complex tasks. This approach promotes adaptability, inheritance of useful traits, and continual learning. Agents not only refine inherited skills but also surpass their predecessors. Our initial experiments show that this method improves exploration efficiency and supports open-ended learning, offering a scalable solution where sparse reward coupled with diverse terrain environments induces a multi-task setting.

arxiv情報

著者 Octi Zhang,Quanquan Peng,Rosario Scalise,Bryon Boots
発行日 2025-03-24 10:40:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NE, cs.RO, F.2.2, I.2.7 | Parental Guidance: Efficient Lifelong Learning through Evolutionary Distillation はコメントを受け付けていません

Communication-aware planning for robot teams deployment

投稿日: 2025年3月25日 作成者: jarxiv

要約

現在の作業では、関心のある場所に到達する必要があるシナリオにロボットのチームを展開するという問題に取り組んでいます。
したがって、ロボットを送信する前に、展開の計画が必要です。
障害、限られた通信範囲、および基地局への通信の必要性は、チームの接続性と展開計画を制約します。
3つのアルゴリズムで構成されるメソッドを提案します。通信を認識する軌跡を取得するための分散パスプランナー。
ロボットの二重使用、主要な目標にアクセスし、接続タスクの実行を提供する展開プランナー。
ロボットにタスクを割り当て、ミッションの最良の目標訪問順序を取得するためのクラスタリングアルゴリズム。

要約(オリジナル)

In the present work we address the problem of deploying a team of robots in a scenario where some locations of interest must be reached. Thus, a planning for a deployment is required, before sending the robots. The obstacles, the limited communication range, and the need of communicating to a base station, constrain the connectivity of the team and the deployment planning. We propose a method consisting of three algorithms: a distributed path planner to obtain communication-aware trajectories; a deployment planner providing dual-use of the robots, visiting primary goals and performing connectivity tasks; and a clustering algorithm to allocate the tasks to robots, and obtain the best goal visit order for the mission.

arxiv情報

著者 Yaroslav Marchukov,Luis Montano
発行日 2025-03-24 10:59:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.MA, cs.RO | Communication-aware planning for robot teams deployment はコメントを受け付けていません

Multi-agent coordination for data gathering with periodic requests and deliveries

投稿日: 2025年3月25日 作成者: jarxiv

要約

このデモ作業では、マルチエージェントチームを計画および調整して、需要のある情報を収集する方法を開発します。
データは、変更可能な目標の場所から静的操作センター（OC）によって定期的に要求されます。
チームの使命は、これらの場所に到達し、測定を行い、データをOCに配信することです。
通信範囲が限られているため、障害物のために信号減衰があるため、エージェントはデータをアップロードするためにOCに移動する必要があります。
エージェントは、2つの役割を果たすことができます。労働者がデータを収集し、その他はコレクターとして、労働者のデータを収集してOCに再送信するための不変の道を移動することです。
配信された情報のさわやかな時間は、利用可能なエージェントの数とシナリオに依存します。
提案されたアルゴリズムは、コレクター労働者の数とシナリオのパーティションと計画段階の作業領域へのパーティションとの間の最良のバランスを見つけます。

要約(オリジナル)

In this demo work we develop a method to plan and coordinate a multi-agent team to gather information on demand. The data is periodically requested by a static Operation Center (OC) from changeable goals locations. The mission of the team is to reach these locations, taking measurements and delivering the data to the OC. Due to the limited communication range as well as signal attenuation because of the obstacles, the agents must travel to the OC, to upload the data. The agents can play two roles: ones as workers gathering data, the others as collectors traveling invariant paths for collecting the data of the workers to re-transmit it to the OC. The refreshing time of the delivered information depends on the number of available agents as well as of the scenario. The proposed algorithm finds out the best balance between the number of collectors-workers and the partition of the scenario into working areas in the planning phase, which provides the minimum refreshing time and will be the one executed by the agents.

arxiv情報

著者 Yaroslav Marchukov,Luis Montano
発行日 2025-03-24 10:59:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.MA, cs.RO | Multi-agent coordination for data gathering with periodic requests and deliveries はコメントを受け付けていません

FF-SRL: High Performance GPU-Based Surgical Simulation For Robot Learning

投稿日: 2025年3月25日 作成者: jarxiv

要約

ロボット手術は急速に発展している分野であり、外科的タスクの自動化から大きな恩恵を受けることができます。
ただし、強化学習（RL）などのトレーニング技術には、実際の外科システムで実行するために一般的に安全で非現実的なタスクの繰り返しが多い必要があります。
これは、シミュレートされた外科環境の必要性を強調します。これは、現実的であるだけでなく、計算上効率的でスケーラブルです。
ロボット手術のための高性能学習環境であるFF-SRL（高速および柔軟な外科的補強学習）を紹介します。
FF-SRLでは、物理シミュレーションとRLポリシートレーニングの両方が単一のGPUに完全に存在します。
これにより、CPUとGPU間のデータ転送に関連する典型的なボトルネックが回避され、学習率が加速されます。
我々の結果は、FF-SRLが、一般的なCPU/GPUシミュレーターと比較して、複雑な組織操作タスクのトレーニング時間を数分まで短縮することを示しています。
このようなスピードアップは、RL技術の実験を促進し、新世代の手術システムの開発に貢献する可能性があります。
この目的のために、コードをコミュニティが公開しています。

要約(オリジナル)

Robotic surgery is a rapidly developing field that can greatly benefit from the automation of surgical tasks. However, training techniques such as Reinforcement Learning (RL) require a high number of task repetitions, which are generally unsafe and impractical to perform on real surgical systems. This stresses the need for simulated surgical environments, which are not only realistic, but also computationally efficient and scalable. We introduce FF-SRL (Fast and Flexible Surgical Reinforcement Learning), a high-performance learning environment for robotic surgery. In FF-SRL both physics simulation and RL policy training reside entirely on a single GPU. This avoids typical bottlenecks associated with data transfer between the CPU and GPU, leading to accelerated learning rates. Our results show that FF-SRL reduces the training time of a complex tissue manipulation task by an order of magnitude, down to a couple of minutes, compared to a common CPU/GPU simulator. Such speed-up may facilitate the experimentation with RL techniques and contribute to the development of new generation of surgical systems. To this end, we make our code publicly available to the community.

arxiv情報

著者 Diego Dall’Alba,Michał Nasket,Sabina Kaminska,Przemysław Korzeniowski
発行日 2025-03-24 12:19:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | FF-SRL: High Performance GPU-Based Surgical Simulation For Robot Learning はコメントを受け付けていません