SMaRCSim: Maritime Robotics Simulation Modules

要約

水中ロボットの新しい機能を開発し、現実の世界でテストすることは、時間がかかり、リソース集約型です。
シミュレーション環境により、フィールド展開前に迅速なテストが可能になります。
ただし、既存のツールには、プロジェクトのユースケースの特定の機能がありません。i)水中車両用の学習ベースの方法の開発。
ii)自律的な水中、地表、航空車両のチームを作成する。
iii)フィールド実験のミッション計画とシミュレーションを統合する。
これらの問題の全体的な解決策は、水中ドメインに新しい機能をもたらす大きな可能性をもたらします。
この論文では、これらの問題に対処するために開発したシミュレーションパッケージのセットであるSmarcsimを紹介します。

要約(オリジナル)

Developing new functionality for underwater robots and testing them in the real world is time-consuming and resource-intensive. Simulation environments allow for rapid testing before field deployment. However, existing tools lack certain functionality for use cases in our project: i) developing learning-based methods for underwater vehicles; ii) creating teams of autonomous underwater, surface, and aerial vehicles; iii) integrating the simulation with mission planning for field experiments. A holistic solution to these problems presents great potential for bringing novel functionality into the underwater domain. In this paper we present SMaRCSim, a set of simulation packages that we have developed to help us address these issues.

arxiv情報

著者 Mart Kartašev,David Dörner,Özer Özkahraman,Petter Ögren,Ivan Stenius,John Folkesson
発行日 2025-06-09 13:57:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GR, cs.RO | SMaRCSim: Maritime Robotics Simulation Modules はコメントを受け付けていません

Primal-Dual iLQR for GPU-Accelerated Learning and Control in Legged Robots

要約

このペーパーでは、GPUの並列化を活用する脚のあるロボットの移動のための新しいモデル予測制御(MPC)の実装を紹介します。
私たちのアプローチにより、並列連合スキャンを組み込んでプライマルデュアルのKarush-Kuhn-Tucker(KKT)システムを解決することにより、時間的および状態空間の両方の並列化が可能になります。
このようにして、最適な制御問題は、$ \ mathcal {o}(n(n + m)^3)$の代わりに、$ \ mathcal {o}(n \ log {n} + m)$複雑さで解決されます。
2つの最先端のソルバー(Adados and Crocoddyl)にわたるこの実装の利点を示し、予測硬化層の長さをさまざまにすると、全身のダイナミクス(WB)-MPCのランタイム(WB)-MPC(SRBD)-MPCの700%改善を達成します。
提示された定式化は、問題の状態の寸法にも効率的にスケーリングし、25ミリ秒未満で計算できる最大16個の脚のロボットの集中コントローラーの定義を可能にします。
さらに、JAXの実装のおかげで、ソルバーは複数の環境にわたる大規模な並列化をサポートし、GPUで直接MPCで学習を実行する可能性を可能にします。

要約(オリジナル)

This paper introduces a novel Model Predictive Control (MPC) implementation for legged robot locomotion that leverages GPU parallelization. Our approach enables both temporal and state-space parallelization by incorporating a parallel associative scan to solve the primal-dual Karush-Kuhn-Tucker (KKT) system. In this way, the optimal control problem is solved in $\mathcal{O}(n\log{N} + m)$ complexity, instead of $\mathcal{O}(N(n + m)^3)$, where $n$, $m$, and $N$ are the dimension of the system state, control vector, and the length of the prediction horizon. We demonstrate the advantages of this implementation over two state-of-the-art solvers (acados and crocoddyl), achieving up to a 60\% improvement in runtime for Whole Body Dynamics (WB)-MPC and a 700\% improvement for Single Rigid Body Dynamics (SRBD)-MPC when varying the prediction horizon length. The presented formulation scales efficiently with the problem state dimensions as well, enabling the definition of a centralized controller for up to 16 legged robots that can be computed in less than 25 ms. Furthermore, thanks to the JAX implementation, the solver supports large-scale parallelization across multiple environments, allowing the possibility of performing learning with the MPC in the loop directly in GPU.

arxiv情報

著者 Lorenzo Amatucci,João Sousa-Pinto,Giulio Turrisi,Dominique Orban,Victor Barasuol,Claudio Semini
発行日 2025-06-09 14:48:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Primal-Dual iLQR for GPU-Accelerated Learning and Control in Legged Robots はコメントを受け付けていません

R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation

要約

自律運転(AD)システムの検証には、多様で安全性の高いテストが必要であり、光リアリックな仮想環境を不可欠にします。
従来のシミュレーションプラットフォームは、制御可能ですが、リソース集約的なスケーリングであり、多くの場合、実際のデータとドメインのギャップに苦しんでいます。
対照的に、3D Gaussian Splatting(3DGS)のような神経再構成方法は、現実世界の運転シーンのフォトリアリックなデジタル双子を作成するためのスケーラブルなソリューションを提供します。
ただし、シーンごとの最適化ベースの方法論は、統合された照明効果を備えた不完全なオブジェクトモデルをもたらす傾向があるため、動的なオブジェクトの操作と再利用性と格闘しています。
このペーパーでは、これらの制限を克服し、既存のシーンに完全な3Dアセットを現実的に挿入できるように設計された軽量のワンステップ拡散モデルであるR3D2を紹介します。
これは、新しいデータセットでR3D2をトレーニングすることによって達成されます。3DGSオブジェクトアセットは、画像条件付きの3D生成モデルを使用してワイルド内の広告データから生成され、ニューラルレンダリングベースの仮想環境に合成され、R3D2が現実的な統合を学習できるようにします。
定量的および定性的評価は、R3D2が挿入された資産のリアリズムを大幅に向上させ、テキストから3Dの資産挿入やクロスシーン/データセットオブジェクト転送などのユースケースを可能にし、AD検証の真のスケーラビリティを可能にすることを示しています。
スケーラブルで現実的な広告シミュレーションでのさらなる調査を促進するために、データセットとコードをリリースします。https://research.zenseact.com/publications/r3d2/を参照してください。

要約(オリジナル)

Validating autonomous driving (AD) systems requires diverse and safety-critical testing, making photorealistic virtual environments essential. Traditional simulation platforms, while controllable, are resource-intensive to scale and often suffer from a domain gap with real-world data. In contrast, neural reconstruction methods like 3D Gaussian Splatting (3DGS) offer a scalable solution for creating photorealistic digital twins of real-world driving scenes. However, they struggle with dynamic object manipulation and reusability as their per-scene optimization-based methodology tends to result in incomplete object models with integrated illumination effects. This paper introduces R3D2, a lightweight, one-step diffusion model designed to overcome these limitations and enable realistic insertion of complete 3D assets into existing scenes by generating plausible rendering effects-such as shadows and consistent lighting-in real time. This is achieved by training R3D2 on a novel dataset: 3DGS object assets are generated from in-the-wild AD data using an image-conditioned 3D generative model, and then synthetically placed into neural rendering-based virtual environments, allowing R3D2 to learn realistic integration. Quantitative and qualitative evaluations demonstrate that R3D2 significantly enhances the realism of inserted assets, enabling use-cases like text-to-3D asset insertion and cross-scene/dataset object transfer, allowing for true scalability in AD validation. To promote further research in scalable and realistic AD simulation, we will release our dataset and code, see https://research.zenseact.com/publications/R3D2/.

arxiv情報

著者 William Ljungbergh,Bernardo Taveira,Wenzhao Zheng,Adam Tonderski,Chensheng Peng,Fredrik Kahl,Christoffer Petersson,Michael Felsberg,Kurt Keutzer,Masayoshi Tomizuka,Wei Zhan
発行日 2025-06-09 14:50:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO | R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation はコメントを受け付けていません

Efficient and Generalized end-to-end Autonomous Driving System with Latent Deep Reinforcement Learning and Demonstrations

要約

インテリジェントな運転システムは、システムのセキュリティと信頼性を確保しながら、現在の環境と車両のステータスに基づいて適切な運転戦略を動的に策定する必要があります。
ただし、補強学習と模倣学習に基づく方法は、多くの場合、サンプルの複雑さ、一般化が不十分で、安全性が低くなります。
これらの課題に対処するために、このペーパーでは、複雑で多様なシナリオのための効率的で一般化されたエンドツーエンドの自律駆動システム(EGAD)を紹介します。
EGADSのRLエージェントは、分布の仮定とは無関係の変分推論と正規化フローを組み合わせています。
この組み合わせにより、エージェントは潜在スペースを効果的に運転することに関連する履歴情報をキャプチャでき、それによりサンプルの複雑さが大幅に削減されます。
さらに、堅牢な安全性の制約を策定することにより、RLと専門家のデモを統合することにより、一般化とパフォーマンスを改善することにより、安全性を高めます。
実験結果は、既存の方法と比較して、EGADがサンプルの複雑さを大幅に減らし、安全性能を大幅に改善し、複雑な都市シナリオで強力な一般化能力を示すことを示しています。
特に、特にG29ステアリングホイールを使用して、人間のエキスパートステアリングホイールコントロールを通じて収集されたエキスパートデータセットを提供しました。

要約(オリジナル)

An intelligent driving system should dynamically formulate appropriate driving strategies based on the current environment and vehicle status while ensuring system security and reliability. However, methods based on reinforcement learning and imitation learning often suffer from high sample complexity, poor generalization, and low safety. To address these challenges, this paper introduces an efficient and generalized end-to-end autonomous driving system (EGADS) for complex and varied scenarios. The RL agent in our EGADS combines variational inference with normalizing flows, which are independent of distribution assumptions. This combination allows the agent to capture historical information relevant to driving in latent space effectively, thereby significantly reducing sample complexity. Additionally, we enhance safety by formulating robust safety constraints and improve generalization and performance by integrating RL with expert demonstrations. Experimental results demonstrate that, compared to existing methods, EGADS significantly reduces sample complexity, greatly improves safety performance, and exhibits strong generalization capabilities in complex urban scenarios. Particularly, we contributed an expert dataset collected through human expert steering wheel control, specifically using the G29 steering wheel.

arxiv情報

著者 Zuojin Tang,Xiaoyu Chen,Yongqiang Li,Jianyu Chen
発行日 2025-06-09 15:02:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | Efficient and Generalized end-to-end Autonomous Driving System with Latent Deep Reinforcement Learning and Demonstrations はコメントを受け付けていません

Versatile Loco-Manipulation through Flexible Interlimb Coordination

要約

自動運転ロボットが非構造化された環境で動作できるようにするには、局所操作のために手足を柔軟に活用する能力が不可欠です。
しかし、局所操作に関する以前の作業は、特定のタスクまたは所定の四肢構成に制約されることがよくあります。
この作業では、柔軟なlimb間協調を通じて汎用性の高い局所操作を可能にするアプローチである、limb間調整(RELIC)の補強学習を提示します。
私たちのアプローチの鍵は、操作運動の実行とタスクの要求に基づいて安定した歩行の生成をシームレスに橋渡しする適応コントローラーです。
2つのコントローラーモジュール間の相互作用を通じて、Relicは各手足を操作または移動のために動的に割り当て、それらを調整してタスクの成功を達成します。
シミュレーションで効率的な強化学習を使用して、Relicは現実世界の操作目標に従って安定した歩行を実行することを学びます。
多様で複雑なタスクを解決するために、ターゲットの軌跡、接点、自然言語の指示など、学習したコントローラーにさまざまなタイプのタスク仕様をインターフェースすることをさらに提案します。
多様で複雑な調整パターンを必要とする12の実世界のタスクで評価されたRelicは、平均で78.9%の成功率を達成することにより、その汎用性と堅牢性を示しています。
ビデオとコードはhttps://relic-locoman.github.io/にあります。

要約(オリジナル)

The ability to flexibly leverage limbs for loco-manipulation is essential for enabling autonomous robots to operate in unstructured environments. Yet, prior work on loco-manipulation is often constrained to specific tasks or predetermined limb configurations. In this work, we present Reinforcement Learning for Interlimb Coordination (ReLIC), an approach that enables versatile loco-manipulation through flexible interlimb coordination. The key to our approach is an adaptive controller that seamlessly bridges the execution of manipulation motions and the generation of stable gaits based on task demands. Through the interplay between two controller modules, ReLIC dynamically assigns each limb for manipulation or locomotion and robustly coordinates them to achieve the task success. Using efficient reinforcement learning in simulation, ReLIC learns to perform stable gaits in accordance with the manipulation goals in the real world. To solve diverse and complex tasks, we further propose to interface the learned controller with different types of task specifications, including target trajectories, contact points, and natural language instructions. Evaluated on 12 real-world tasks that require diverse and complex coordination patterns, ReLIC demonstrates its versatility and robustness by achieving a success rate of 78.9% on average. Videos and code can be found at https://relic-locoman.github.io/.

arxiv情報

著者 Xinghao Zhu,Yuxin Chen,Lingfeng Sun,Farzad Niroui,Simon Le CleacH,Jiuguang Wang,Kuan Fang
発行日 2025-06-09 15:49:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Versatile Loco-Manipulation through Flexible Interlimb Coordination はコメントを受け付けていません

Design and Implementation of a Peer-to-Peer Communication, Modular and Decentral YellowCube UUV

要約

水中無人車(UUV)は、オフショアエンジニアリングおよび海洋学的研究のためのピボットツールです。
ほとんどの既存のUUVは、新規またはアップグレードされたセンサーの簡単な統合を容易にしません。
この問題の解決策は、異なるミッションにさまざまなセンサーを運ぶことができる変更可能なペイロードセクションを備えたモジュラーUUVシステムを持つことです。
Yellow Cubeという名前のモジュール式および10分程度のUUVの設計と実装は、論文に記載されています。
代わりに、他のモジュール式水中車両設計によって採用されている集中ソフトウェアアーキテクチャが、UUVのモジュールにピアツーピア(P2P)通信メカニズムが実装されています。
実験室および海の試験での実験は、UUVのパフォーマンスを検証するために実行されました。

要約(オリジナル)

The underwater Unmanned Vehicles(UUVs) are pivot tools for offshore engineering and oceanographic research. Most existing UUVs do not facilitate easy integration of new or upgraded sensors. A solution to this problem is to have a modular UUV system with changeable payload sections capable of carrying different sensor to suite different missions. The design and implementation of a modular and decentral UUV named YellowCube is presented in the paper. Instead a centralised software architecture which is adopted by the other modular underwater vehicles designs, a Peer-To-Peer(P2P) communication mechanism is implemented among the UUV’s modules. The experiments in the laboratory and sea trials have been executed to verify the performances of the UUV.

arxiv情報

著者 Zhizun Xu,Baozhu Jia,Weichao Shi
発行日 2025-06-09 16:37:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Design and Implementation of a Peer-to-Peer Communication, Modular and Decentral YellowCube UUV はコメントを受け付けていません

Schauder Bases for $C[0, 1]$ Using ReLU, Softplus and Two Sigmoidal Functions

要約

スペース$ c [0,1] $の4つのショーダーベース、1つはrelu関数を使用し、別のsoftplus関数を使用し、さらに2つはreluおよびsoftplus関数のシグモイドバージョンを使用して構築します。
これにより、これらの関数を初めて使用してベースの存在が確立され、それらに関連するユニバーサル近似プロパティが改善されます。

要約(オリジナル)

We construct four Schauder bases for the space $C[0,1]$, one using ReLU functions, another using Softplus functions, and two more using sigmoidal versions of the ReLU and Softplus functions. This establishes the existence of a basis using these functions for the first time, and improves on the universal approximation property associated with them.

arxiv情報

著者 Anand Ganesh,Babhrubahan Bose,Anand Rajagopalan
発行日 2025-06-09 15:55:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 46B15, cs.LG, I.2.6, math.FA | Schauder Bases for $C[0, 1]$ Using ReLU, Softplus and Two Sigmoidal Functions はコメントを受け付けていません

SoK: Data Reconstruction Attacks Against Machine Learning Models: Definition, Metrics, and Benchmark

要約

アクセスが制限されているターゲットモデルのトレーニングデータセットを回復することを目的としたデータ再構成攻撃は、近年注目を集めています。
ただし、現在、データ再構成攻撃の正式な定義や品質を測定するための適切な評価メトリックに関するコンセンサスはありません。
この厳格な定義と普遍的な指標の欠如は、この分野でのさらなる進歩を妨げています。
この論文では、統一された攻撃分類法とデータ再構成攻撃の正式な定義を提案することにより、この問題にVisionドメインでこの問題に取り組みます。
最初に、定量化可能性、一貫性、精度、多様性などの重要な基準を考慮する一連の定量的評価メトリックを提案します。
さらに、人間の判断の代わりとして大規模な言語モデル(LLM)を活用し、高品質の再構成に重点を置いて視覚的評価を可能にします。
提案された分類法と指標を使用して、既存の攻撃の強みと制限を体系的に評価し、将来の研究のベンチマークを確立するための統一されたフレームワークを提示します。
主に暗記の観点からの経験的結果は、メトリックの有効性を検証するだけでなく、新しい攻撃を設計するための貴重な洞察を提供します。

要約(オリジナル)

Data reconstruction attacks, which aim to recover the training dataset of a target model with limited access, have gained increasing attention in recent years. However, there is currently no consensus on a formal definition of data reconstruction attacks or appropriate evaluation metrics for measuring their quality. This lack of rigorous definitions and universal metrics has hindered further advancement in this field. In this paper, we address this issue in the vision domain by proposing a unified attack taxonomy and formal definitions of data reconstruction attacks. We first propose a set of quantitative evaluation metrics that consider important criteria such as quantifiability, consistency, precision, and diversity. Additionally, we leverage large language models (LLMs) as a substitute for human judgment, enabling visual evaluation with an emphasis on high-quality reconstructions. Using our proposed taxonomy and metrics, we present a unified framework for systematically evaluating the strengths and limitations of existing attacks and establishing a benchmark for future research. Empirical results, primarily from a memorization perspective, not only validate the effectiveness of our metrics but also offer valuable insights for designing new attacks.

arxiv情報

著者 Rui Wen,Yiyong Liu,Michael Backes,Yang Zhang
発行日 2025-06-09 16:00:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | SoK: Data Reconstruction Attacks Against Machine Learning Models: Definition, Metrics, and Benchmark はコメントを受け付けていません

SMRS: advocating a unified reporting standard for surrogate models in the artificial intelligence era

要約

代理モデルは、科学と工学全体で複雑なシステムを近似して計算コストを削減するために広く使用されています。
広範囲にわたる採用にもかかわらず、このフィールドには、データサンプリング、モデル選択、評価、およびダウンストリーム分析など、モデリングパイプラインの重要な段階にわたる標準化がありません。
この断片化により、再現性とクロスドメインのユーティリティが制限されます。これは、AI駆動の代理モデルの急速な増殖によってさらに悪化する課題です。
私たちは、実装の詳細に不可知論のままでありながら不可欠な設計と評価の選択を体系的にキャプチャする、構造化されたレポート標準であるサロゲートモデルレポート仕様(SMRS)を確立する緊急の必要性を主張します。
標準化されているが柔軟なフレームワークを促進することにより、代理モデリングの信頼性を改善し、学際的な知識移転を促進し、その結果、AI時代の科学的進歩を加速することを目指しています。

要約(オリジナル)

Surrogate models are widely used to approximate complex systems across science and engineering to reduce computational costs. Despite their widespread adoption, the field lacks standardisation across key stages of the modelling pipeline, including data sampling, model selection, evaluation, and downstream analysis. This fragmentation limits reproducibility and cross-domain utility — a challenge further exacerbated by the rapid proliferation of AI-driven surrogate models. We argue for the urgent need to establish a structured reporting standard, the Surrogate Model Reporting Specification (SMRS), that systematically captures essential design and evaluation choices while remaining agnostic to implementation specifics. By promoting a standardised yet flexible framework, we aim to improve the reliability of surrogate modelling, foster interdisciplinary knowledge transfer, and, as a result, accelerate scientific progress in the AI era.

arxiv情報

著者 Elizaveta Semenova,Alisa Sheinkman,Timothy James Hitge,Siobhan Mackenzie Hall,Jon Cockayne
発行日 2025-06-09 16:01:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.CO | SMRS: advocating a unified reporting standard for surrogate models in the artificial intelligence era はコメントを受け付けていません

Learning to Stop: Deep Learning for Mean Field Optimal Stopping

要約

最適な停止は、リスク管理、金融、ロボット工学、および機械学習のアプリケーションを伴う最適化における根本的な問題です。
マルチエージェント最適停止(MAO)という名前のマルチエージェント設定に標準フレームワークを拡張します。エージェントは、有限空間の個別の時間環境で最適な停止決定を行うために協力します。
エージェントの数が非常に多いため、MAOSの解決は計算上法外になるようになるため、エージェントの数が無限になる傾向があるために得られる平均フィールド最適停止(MFOS)問題を研究します。
MFOSがMAOSに適切な近似を提供し、平均フィールド制御理論に基づいて動的なプログラミング原理(DPP)を証明することを確立します。
次に、2つの深い学習アプローチを提案します。1つは完全な軌跡をシミュレートすることにより最適な停止決定を学習し、もう1つはDPPを活用して値関数を計算し、後方誘導を使用して最適な停止ルールを学習することです。
どちらの方法でも、最適な停止ポリシーを近似するためにニューラルネットワークを訓練します。
私たちは、300までの空間的次元の6つの異なる問題に関する数値実験を通じて、私たちの作業の有効性とスケーラビリティを示します。私たちの知る限り、これは個別の時間と有限空間でMFOを形式化して計算するための最初の作業であり、スケーラブルなMAOSメソッドの新しい方向を開きます。

要約(オリジナル)

Optimal stopping is a fundamental problem in optimization with applications in risk management, finance, robotics, and machine learning. We extend the standard framework to a multi-agent setting, named multi-agent optimal stopping (MAOS), where agents cooperate to make optimal stopping decisions in a finite-space, discrete-time environment. Since solving MAOS becomes computationally prohibitive as the number of agents is very large, we study the mean-field optimal stopping (MFOS) problem, obtained as the number of agents tends to infinity. We establish that MFOS provides a good approximation to MAOS and prove a dynamic programming principle (DPP) based on mean-field control theory. We then propose two deep learning approaches: one that learns optimal stopping decisions by simulating full trajectories and another that leverages the DPP to compute the value function and to learn the optimal stopping rule using backward induction. Both methods train neural networks to approximate optimal stopping policies. We demonstrate the effectiveness and the scalability of our work through numerical experiments on 6 different problems in spatial dimension up to 300. To the best of our knowledge, this is the first work to formalize and computationally solve MFOS in discrete time and finite space, opening new directions for scalable MAOS methods.

arxiv情報

著者 Lorenzo Magnino,Yuchen Zhu,Mathieu Laurière
発行日 2025-06-09 16:11:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Learning to Stop: Deep Learning for Mean Field Optimal Stopping はコメントを受け付けていません