Collision Probability Estimation for Optimization-based Vehicular Motion Planning

投稿日: 2025年5月28日 作成者: jarxiv

要約

自動運転のための多くのモーション計画アルゴリズムは、道路利用者の動きの測定と推定の不確実性を説明するために衝突の確率（POC）を推定する必要があります。
一般的なPOC推定手法は、多くの場合、計算の非効率性と非決定的推定に悩まされるサンプリングベースの方法を利用します。つまり、同じ入力の各推定結果はわずかに異なります。
対照的に、最適化ベースのモーション計画アルゴリズムには、理想的には決定論的推定を使用して計算上の効率的なPOC推定が必要であり、モーション計画の典型的な最適化アルゴリズムは実現可能性を保持します。
ただし、POCを分析的に推定することは、衝突条件（車両の形状など）の理解と動きの予測の不確実性の特徴に依存するため、困難です。
この論文では、複数の円形の形状近似で形状を過剰に並べることにより、2台の車両間のPOCを推定するアプローチを提案します。
予測された車両の位置と見出しは、ランダム変数としてモデル化されており、文献とは対照的であり、見出し角がしばしば無視されます。
提供されたPOCが過剰承認であることを保証します。これは、安全保証を提供するのに不可欠であり、位置と見出しにおけるガウスの不確実性のPOC推定値を計算するための計算効率的なアルゴリズムを提示します。
このアルゴリズムは、モーションプランニングのためにパスフォローする確率モデル予測コントローラー（SMPC）で使用されます。
提案されたアルゴリズムを使用すると、SMPCは再現可能な軌跡を生成し、コントローラーは提示されたテストケースでの実現可能性を保持し、さまざまなレベルの不確実性を処理する能力を実証します。

要約(オリジナル)

Many motion planning algorithms for automated driving require estimating the probability of collision (POC) to account for uncertainties in the measurement and estimation of the motion of road users. Common POC estimation techniques often utilize sampling-based methods that suffer from computational inefficiency and a non-deterministic estimation, i.e., each estimation result for the same inputs is slightly different. In contrast, optimization-based motion planning algorithms require computationally efficient POC estimation, ideally using deterministic estimation, such that typical optimization algorithms for motion planning retain feasibility. Estimating the POC analytically, however, is challenging because it depends on understanding the collision conditions (e.g., vehicle’s shape) and characterizing the uncertainty in motion prediction. In this paper, we propose an approach in which we estimate the POC between two vehicles by over-approximating their shapes by a multi-circular shape approximation. The position and heading of the predicted vehicle are modelled as random variables, contrasting with the literature, where the heading angle is often neglected. We guarantee that the provided POC is an over-approximation, which is essential in providing safety guarantees, and present a computationally efficient algorithm for computing the POC estimate for Gaussian uncertainty in the position and heading. This algorithm is then used in a path-following stochastic model predictive controller (SMPC) for motion planning. With the proposed algorithm, the SMPC generates reproducible trajectories while the controller retains its feasibility in the presented test cases and demonstrates the ability to handle varying levels of uncertainty.

arxiv情報

著者 Leon Tolksdorf,Arturo Tejada,Christian Birkner,Nathan van de Wouw
発行日 2025-05-27 13:16:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, math.OC | Collision Probability Estimation for Optimization-based Vehicular Motion Planning はコメントを受け付けていません

Sky-Drive: A Distributed Multi-Agent Simulation Platform for Human-AI Collaborative and Socially-Aware Future Transportation

投稿日: 2025年5月28日 作成者: jarxiv

要約

自律システムシミュレーションプラットフォームの最近の進歩により、運転ポリシーの安全でスケーラブルなテストが大幅に向上しました。
ただし、既存のシミュレーターは、効果的な人間と協力を可能にし、社会的に認識した運転エージェントをモデル化する際に、将来の輸送研究のニーズをまだ完全に満たしていません。
このペーパーでは、4つの主要な革新を通じてこれらの制限に対処する新しい分散マルチエージェントシミュレーションプラットフォームであるSky-driveを紹介します。（a）複数の端子にわたる同期シミュレーションの分散アーキテクチャ。
（b）多様なセンサーを統合して豊富な行動データを収集する多様なループフレームワーク。
（c）継続的かつ適応的な知識交換をサポートする人間と協力的なメカニズム。
（d）現実世界の輸送環境の高忠実度仮想レプリカを構築するためのデジタルツインフレームワーク。
Sky-driveは、自動運転車の人間の道路ユーザーの相互作用モデリング、人間のループトレーニング、社会的に認識した強化学習、パーソナライズされた運転開発、カスタマイズされたシナリオ生成など、さまざまなアプリケーションをサポートしています。
将来の拡張機能には、コンテキスト対応の意思決定サポートと、実際の検証のためのループインハードウェアテストのための基礎モデルが組み込まれます。
シナリオの生成、データ収集、アルゴリズムトレーニング、ハードウェア統合をブリッジングすることにより、Sky-Driveは、次世代の人間中心で社会的に認識している自律輸送システムの研究の基礎的なプラットフォームになる可能性があります。
デモビデオとコードは、https：//sky-lab-uw.github.io/sky-drive-website/で入手できます。

要約(オリジナル)

Recent advances in autonomous system simulation platforms have significantly enhanced the safe and scalable testing of driving policies. However, existing simulators do not yet fully meet the needs of future transportation research-particularly in enabling effective human-AI collaboration and modeling socially-aware driving agents. This paper introduces Sky-Drive, a novel distributed multi-agent simulation platform that addresses these limitations through four key innovations: (a) a distributed architecture for synchronized simulation across multiple terminals; (b) a multi-modal human-in-the-loop framework integrating diverse sensors to collect rich behavioral data; (c) a human-AI collaboration mechanism supporting continuous and adaptive knowledge exchange; and (d) a digital twin framework for constructing high-fidelity virtual replicas of real-world transportation environments. Sky-Drive supports diverse applications such as autonomous vehicle-human road users interaction modeling, human-in-the-loop training, socially-aware reinforcement learning, personalized driving development, and customized scenario generation. Future extensions will incorporate foundation models for context-aware decision support and hardware-in-the-loop testing for real-world validation. By bridging scenario generation, data collection, algorithm training, and hardware integration, Sky-Drive has the potential to become a foundational platform for the next generation of human-centered and socially-aware autonomous transportation systems research. The demo video and code are available at:https://sky-lab-uw.github.io/Sky-Drive-website/

arxiv情報

著者 Zilin Huang,Zihao Sheng,Zhengyang Wan,Yansong Qu,Yuhao Luo,Boyue Wang,Pei Li,Yen-Jung Chen,Jiancong Chen,Keke Long,Jiayi Meng,Yue Leng,Sikai Chen
発行日 2025-05-27 14:09:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.RO | Sky-Drive: A Distributed Multi-Agent Simulation Platform for Human-AI Collaborative and Socially-Aware Future Transportation はコメントを受け付けていません

Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling

投稿日: 2025年5月28日 作成者: jarxiv

要約

安全で実行可能な軌道計画は、現実世界の自律運転システムに不可欠です。
ただし、既存の学習ベースの計画方法は、多くの場合、専門家のデモンストレーションに依存しています。これは、明示的な安全性の認識を欠いているだけでなく、最適ではない人間の運転データからのスピード違反などの危険な行動を継承するリスクもありません。
大規模な言語モデルの成功に触発されたPlan-R1は、安全性、快適性、交通規則のコンプライアンスなどの明示的な計画原則に導かれる軌道計画を順次予測タスクとして策定する新しい2段階軌道計画フレームワークであると提案します。
最初の段階では、専門家データの次のモーショントークン予測を介して、自己回帰軌道予測因子を訓練します。
第2段階では、ルールベースの報酬（衝突回避、速度制限など）を設計し、強化学習戦略であるグループ相対ポリシー最適化（GRPO）を使用してモデルを微調整して、これらの計画原則に予測を合わせます。
Nuplanベンチマークでの実験は、Plan-R1が計画の安全性と実現可能性を大幅に改善し、最先端のパフォーマンスを達成することを示しています。
私たちのコードはまもなく公開されます。

要約(オリジナル)

Safe and feasible trajectory planning is essential for real-world autonomous driving systems. However, existing learning-based planning methods often rely on expert demonstrations, which not only lack explicit safety awareness but also risk inheriting unsafe behaviors such as speeding from suboptimal human driving data. Inspired by the success of large language models, we propose Plan-R1, a novel two-stage trajectory planning framework that formulates trajectory planning as a sequential prediction task, guided by explicit planning principles such as safety, comfort, and traffic rule compliance. In the first stage, we train an autoregressive trajectory predictor via next motion token prediction on expert data. In the second stage, we design rule-based rewards (e.g., collision avoidance, speed limits) and fine-tune the model using Group Relative Policy Optimization (GRPO), a reinforcement learning strategy, to align its predictions with these planning principles. Experiments on the nuPlan benchmark demonstrate that our Plan-R1 significantly improves planning safety and feasibility, achieving state-of-the-art performance. Our code will be made public soon.

arxiv情報

著者 Xiaolong Tang,Meina Kan,Shiguang Shan,Xilin Chen
発行日 2025-05-27 14:51:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling はコメントを受け付けていません

EgoWalk: A Multimodal Dataset for Robot Navigation in the Wild

投稿日: 2025年5月28日 作成者: jarxiv

要約

データ駆動型ナビゲーションアルゴリズムは、現実的で制御されていない条件でのトレーニングと堅牢なパフォーマンスのために、大規模で高品質の現実世界のデータ収集に大きく依存しています。
ナビゲーション関連の実世界のデータセットの成長するファミリを強化するために、屋内/屋外、さまざまな季節、および位置環境の多様なセットで50時間のヒューマンナビゲーションのデータセットであるEgowalkを紹介します。
生および模倣学習対応のデータに加えて、いくつかのパイプラインを導入して、他のナビゲーション関連のタスクの子会社、つまり自然言語目標注釈と移動性セグメンテーションマスクの子会社データセットを自動的に作成します。
提案されたデータセットの多様性研究、ユースケース、およびベンチマークが提供され、その実用的な適用性を実証します。
すべてのデータ処理パイプラインと、データ収集に使用されるハードウェアプラットフォームの説明を公然とリリースして、ロボットナビゲーションシステムの将来の研究開発をサポートしています。

要約(オリジナル)

Data-driven navigation algorithms are critically dependent on large-scale, high-quality real-world data collection for successful training and robust performance in realistic and uncontrolled conditions. To enhance the growing family of navigation-related real-world datasets, we introduce EgoWalk – a dataset of 50 hours of human navigation in a diverse set of indoor/outdoor, varied seasons, and location environments. Along with the raw and Imitation Learning-ready data, we introduce several pipelines to automatically create subsidiary datasets for other navigation-related tasks, namely natural language goal annotations and traversability segmentation masks. Diversity studies, use cases, and benchmarks for the proposed dataset are provided to demonstrate its practical applicability. We openly release all data processing pipelines and the description of the hardware platform used for data collection to support future research and development in robot navigation systems.

arxiv情報

著者 Timur Akhtyamov,Mohamad Al Mdfaa,Javier Antonio Ramirez,Sergey Bakulin,German Devchich,Denis Fatykhov,Alexander Mazurov,Kristina Zipa,Malik Mohrat,Pavel Kolesnik,Ivan Sosin,Gonzalo Ferrer
発行日 2025-05-27 14:51:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | EgoWalk: A Multimodal Dataset for Robot Navigation in the Wild はコメントを受け付けていません

FlashBack: Consistency Model-Accelerated Shared Autonomy

投稿日: 2025年5月28日 作成者: jarxiv

要約

共有自律性は、直接制御することが不可能ではないにしても困難なロボットに対する制御権限をユーザーに提供する有効化テクノロジーです。
しかし、標準的な方法では、実践の例での採用を制限する仮定、ユーザーの目標または最適化を希望する目的（つまり、報酬）機能、ユーザーのポリシーの知識、またはトレーニング中のユーザーへのクエリレベルのアクセスを想定しています。
共有された自律性に対する拡散ベースのアプローチは、そのような仮定を行うことはなく、代わりにユーザーが制御権限を維持できるようにしながら、望ましい行動のデモンストレーションへのアクセスのみを必要とします。
ただし、これらの利点は、高い計算の複雑さを犠牲にしてもたらされており、リアルタイムの共有自律性が不可能になりました。
この制限を克服するために、拡散の一貫性モデルベースの定式化を採用する共有自律型フレームワークである一貫性共有自律性（CSA）を提案します。
CSAの鍵は、通常の微分方程式（PF ODE）の蒸留確率流を使用して、単一のステップで高忠実度サンプルを生成することです。
これにより、共有された自律性に対する以前の拡散ベースのアプローチで可能なものよりも大きな推論速度が発生し、単一の関数評価のみで複雑なドメインでのリアルタイム支援が可能になります。
さらに、PF ODEの中間状態で欠陥のあるアクションに介入することにより、CSAはさまざまなレベルの支援を可能にします。
さまざまな挑戦的なシミュレートされた現実世界のロボット制御の問題でCSAを評価し、タスクのパフォーマンスと計算効率の両方の点で最先端の方法よりも大幅な改善を示しています。

要約(オリジナル)

Shared autonomy is an enabling technology that provides users with control authority over robots that would otherwise be difficult if not impossible to directly control. Yet, standard methods make assumptions that limit their adoption in practice-for example, prior knowledge of the user’s goals or the objective (i.e., reward) function that they wish to optimize, knowledge of the user’s policy, or query-level access to the user during training. Diffusion-based approaches to shared autonomy do not make such assumptions and instead only require access to demonstrations of desired behaviors, while allowing the user to maintain control authority. However, these advantages have come at the expense of high computational complexity, which has made real-time shared autonomy all but impossible. To overcome this limitation, we propose Consistency Shared Autonomy (CSA), a shared autonomy framework that employs a consistency model-based formulation of diffusion. Key to CSA is that it employs the distilled probability flow of ordinary differential equations (PF ODE) to generate high-fidelity samples in a single step. This results in inference speeds significantly than what is possible with previous diffusion-based approaches to shared autonomy, enabling real-time assistance in complex domains with only a single function evaluation. Further, by intervening on flawed actions at intermediate states of the PF ODE, CSA enables varying levels of assistance. We evaluate CSA on a variety of challenging simulated and real-world robot control problems, demonstrating significant improvements over state-of-the-art methods both in terms of task performance and computational efficiency.

arxiv情報

著者 Luzhe Sun,Jingtian Ji,Xiangshan Tan,Matthew R. Walter
発行日 2025-05-27 14:58:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | FlashBack: Consistency Model-Accelerated Shared Autonomy はコメントを受け付けていません

Joint Magnetometer-IMU Calibration via Maximum A Posteriori Estimation

投稿日: 2025年5月28日 作成者: jarxiv

要約

このホワイトペーパーでは、キャリブレーションの精度と計算効率の向上に焦点を当てた、磁気計と慣性測定ユニットを共同で調整するための新しいアプローチを紹介します。
提案された方法は、キャリブレーションの問題を最大A事後推定問題として定式化し、センサーのキャリブレーションパラメーターと方向軌道の両方を未知のものとして処理します。
この定式化により、閉じた導関数を使用した効率的な最適化が可能になります。
この方法は、計算の複雑さと推定精度の観点から、2つの最先端のアプローチと比較されます。
シミュレーション結果は、提案された方法が競合効率を維持しながら、キャリブレーションパラメーターのルート平均平方根誤差を低くすることを示しています。
現実世界の実験によるさらなる検証は、アプローチの実際的な利点を確認します。ほとんどのデータセットで磁場支援慣性ナビゲーションシステムの位置ドリフトを2倍以上にわたって効果的に削減します。
さらに、提案された方法は、2分未満で30磁気計を調整しました。
貢献には、新しいキャリブレーション方法、既存の方法の分析、包括的な経験的評価が含まれます。
データセットとアルゴリズムは、再現可能な研究を促進するために公開されています。

要約(オリジナル)

This paper presents a new approach for jointly calibrating magnetometers and inertial measurement units, focusing on improving calibration accuracy and computational efficiency. The proposed method formulates the calibration problem as a maximum a posteriori estimation problem, treating both the calibration parameters and orientation trajectory of the sensors as unknowns. This formulation enables efficient optimization with closed-form derivatives. The method is compared against two state-of-the-art approaches in terms of computational complexity and estimation accuracy. Simulation results demonstrate that the proposed method achieves lower root mean square error in calibration parameters while maintaining competitive computational efficiency. Further validation through real-world experiments confirms the practical benefits of our approach: it effectively reduces position drift in a magnetic field-aided inertial navigation system by more than a factor of two on most datasets. Moreover, the proposed method calibrated 30 magnetometers in less than 2 minutes. The contributions include a new calibration method, an analysis of existing methods, and a comprehensive empirical evaluation. Datasets and algorithms are made publicly available to promote reproducible research.

arxiv情報

著者 Chuan Huang,Gustaf Hendeby,Isaac Skog
発行日 2025-05-27 15:29:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, eess.SP | Joint Magnetometer-IMU Calibration via Maximum A Posteriori Estimation はコメントを受け付けていません

DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents

投稿日: 2025年5月28日 作成者: jarxiv

要約

階層補強学習（HRL）エージェントは、エラーが発生しやすい距離メトリックに依存しているため、しばしば長老視覚計画に苦労しています。
個別の階層計画（DHP）を提案します。これは、連続距離推定値を個別の到達可能性チェックに置き換えて、サブゴールの実現可能性を評価する方法です。
DHPは、長期目標をより単純なサブタスクのシーケンスに分解することにより、ツリー構造計画を再帰的に構築します。
さらに、データ効率の課題に対処するために、専門家のデータを必要とせずに計画モジュールのターゲットトレーニングの例を生成する探索戦略を紹介します。
25室のナビゲーション環境での実験では、100ドルの成功率（$ 82 \％$ $ベースライン）および73ドルの平均エピソード長（vs $ 158 $ stepベースライン）を示しています。
また、この方法は、運動量ベースの制御タスクに一般化され、再生には$ \ log n $ステップのみが必要です。
理論分析とアブレーションは、設計の選択を検証します。

要約(オリジナル)

Hierarchical Reinforcement Learning (HRL) agents often struggle with long-horizon visual planning due to their reliance on error-prone distance metrics. We propose Discrete Hierarchical Planning (DHP), a method that replaces continuous distance estimates with discrete reachability checks to evaluate subgoal feasibility. DHP recursively constructs tree-structured plans by decomposing long-term goals into sequences of simpler subtasks, using a novel advantage estimation strategy that inherently rewards shorter plans and generalizes beyond training depths. In addition, to address the data efficiency challenge, we introduce an exploration strategy that generates targeted training examples for the planning modules without needing expert data. Experiments in 25-room navigation environments demonstrate $100\%$ success rate (vs $82\%$ baseline) and $73$-step average episode length (vs $158$-step baseline). The method also generalizes to momentum-based control tasks and requires only $\log N$ steps for replanning. Theoretical analysis and ablations validate our design choices.

arxiv情報

著者 Shashank Sharma,Janina Hoffmann,Vinay Namboodiri
発行日 2025-05-27 15:30:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents はコメントを受け付けていません

Diffusion Predictive Control with Constraints

投稿日: 2025年5月28日 作成者: jarxiv

要約

拡散モデルは、高次元およびマルチモーダル分布をキャプチャする能力により、ロボット工学のポリシー学習に人気があります。
ただし、拡散ポリシーは確率的であり、通常はオフラインでトレーニングされており、トレーニングデータに表されない新しい制約を満たす必要がある目に見えない動的な条件を処理する能力を制限します。
この制限を克服するために、拡散予測制御を制約（DPCC）で提案します。これは、トレーニングデータのものから逸脱できる明示的な状態およびアクション制約を備えた拡散ベースの制御のアルゴリズムです。
DPCCは、訓練された軌道拡散モデルの除去プロセスにモデルベースの投影を組み込み、制約の締め付けを使用してモデルの不一致を説明します。
これにより、予測制御のための制約に満足し、動的に実行可能な、目標を達成する軌跡を生成することができます。
ロボットマニピュレーターのシミュレーションを通じて、DPCCは、学習した制御タスクのパフォーマンスを維持しながら、新しいテスト時間制約を満たす際に既存の方法を上回ることを示します。

要約(オリジナル)

Diffusion models have become popular for policy learning in robotics due to their ability to capture high-dimensional and multimodal distributions. However, diffusion policies are stochastic and typically trained offline, limiting their ability to handle unseen and dynamic conditions where novel constraints not represented in the training data must be satisfied. To overcome this limitation, we propose diffusion predictive control with constraints (DPCC), an algorithm for diffusion-based control with explicit state and action constraints that can deviate from those in the training data. DPCC incorporates model-based projections into the denoising process of a trained trajectory diffusion model and uses constraint tightening to account for model mismatch. This allows us to generate constraint-satisfying, dynamically feasible, and goal-reaching trajectories for predictive control. We show through simulations of a robot manipulator that DPCC outperforms existing methods in satisfying novel test-time constraints while maintaining performance on the learned control task.

arxiv情報

著者 Ralf Römer,Alexander von Rohr,Angela P. Schoellig
発行日 2025-05-27 15:45:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY | Diffusion Predictive Control with Constraints はコメントを受け付けていません

A Universal Flexible Neuromorphic Tactile System with Multithreshold Strategy

投稿日: 2025年5月28日 作成者: jarxiv

要約

大規模なインテリジェントセンシングデバイスアプリケーションによってもたらされる非構造化データの増加は、データの保存と処理だけでなく、消費電力の急増にも大きな課題を抱えています。
したがって、エネルギー効率と処理速度を向上させるには、新世代のシステム構造と建設戦略が必要です。
ほとんどの生物学的神経系、特に触覚系は、低電力使用量を伴う柔軟性とデータ処理パフォーマンスを備えています。
このメカニズムからインスピレーションを得て、インテリジェントシステムを最適化するために、触覚神経系を模倣することにより、強力な互換性と多胸部信号処理戦略を備えた、普遍的な完全柔軟性の神経球性知覚システムを報告します。
スパイクエンコードされたセンサー信号から蓄積されたピーク信号は、フロントエンド処理ユニットのバイオニックシナプス可塑性から認識タスクに直接使用できます。
従来のシステムと比較して、システムの消費電力は、同じ認識タスクで約1桁減少します。
さらに、電圧ベースのマッチング回路と多項目処理回路の設計により、システム内の優れた互換性と多値処理機能が提供されます。
実現可能性の検証では、システムのシステムは、異なる入力信号（連続信号と周波数信号など）の出力傾向を正確に正確に出力でき、シンボルパターンで90％、モールスコードで90％の高い認識精度を持つことができます。
私たちの神経型システムのこれらの特性は、インテリジェントなデバイスとバイオニックロボットにおける優れたアプリケーションの可能性を示しています。

要約(オリジナル)

Extremely increased unstructured data brought by the large-scale intelligent sensing devices application have big challenges not only in data storing and processing but also power consumption surging. Therefore, to improve energy efficiency and processing speed, a new generation system structure and construction strategy is necessary. Most biological nervous systems, especially the tactile system, have a good flexibility and data processing performance with low power usage. Inspired from this mechanism, to optimize the intelligent system, we report a universal fully flexible neuromorphic perception system with a strong compatibility and multi-threshold signal processing strategy by mimicking tactile nervous system. Peak signal accumulated from spike encoded sensor signal in front-end processing unit can be used for recognition task directly since the bionic synaptic plasticity. Compared with conventional systems, power consumption of our system significantly decreases about 1 order of magnitude in a same recognition task. What is more, the design of voltage-based matching circuit and multithreshold processing circuit provide an excellent compatibility and multi-signal processing capability in our system. In feasibility verification, our system can output trend of different input signals (continuous signal and frequency signal etc.) accurately and have a high recognition accuracy of 90% in the symbol pattern and 90% in Morse code. These properties of our neuromorphic system show a great application potential in intelligent devices and bionic robots.

arxiv情報

著者 Jialin Liu,Diansheng Liao
発行日 2025-05-27 15:45:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.NE, cs.RO | A Universal Flexible Neuromorphic Tactile System with Multithreshold Strategy はコメントを受け付けていません

EquAct: An SE(3)-Equivariant Multi-Task Transformer for Open-Loop Robotic Manipulation

投稿日: 2025年5月28日 作成者: jarxiv

要約

トランスアーキテクチャは、自然言語の指示と3D観測を共同で処理することにより、デモンストレーションから言語条件付きのマルチタスク3Dオープンループ操作ポリシーを効果的に学習できます。
ただし、ロボットポリシーと言語の両方の指示は本質的に豊富な3D幾何学的構造をエンコードしますが、標準的な変圧器には幾何学的な一貫性の組み込み保証がなく、多くの場合、シーンのSE（3）変換の下で予測不可能な動作をもたらします。
この論文では、政策と言語の両方で共有された主要な構造的特性としてのSE（3）等量を活用し、Equact-A Novel（3）Equivariant Multi-Taskトランスを提案します。
Equactは、理論的にはSE（3）等量であることが保証され、2つの重要なコンポーネントで構成されています。（1）ポリシー推論のための効率的なSE（3）拡張点クラウドベースのU-NET、および（2）se（3）invariant特徴的な線形変調（IFILM）層。
その空間一般化能力を評価するために、SE（3）とSE（2）の両方のシーンの摂動の両方を備えた18のRLBenchシミュレーションタスクと4つの物理タスクでEquactをベンチマークします。
Equactは、これらのシミュレーションと物理的なタスク全体で最先端を実行します。

要約(オリジナル)

Transformer architectures can effectively learn language-conditioned, multi-task 3D open-loop manipulation policies from demonstrations by jointly processing natural language instructions and 3D observations. However, although both the robot policy and language instructions inherently encode rich 3D geometric structures, standard transformers lack built-in guarantees of geometric consistency, often resulting in unpredictable behavior under SE(3) transformations of the scene. In this paper, we leverage SE(3) equivariance as a key structural property shared by both policy and language, and propose EquAct-a novel SE(3)-equivariant multi-task transformer. EquAct is theoretically guaranteed to be SE(3) equivariant and consists of two key components: (1) an efficient SE(3)-equivariant point cloud-based U-net with spherical Fourier features for policy reasoning, and (2) SE(3)-invariant Feature-wise Linear Modulation (iFiLM) layers for language conditioning. To evaluate its spatial generalization ability, we benchmark EquAct on 18 RLBench simulation tasks with both SE(3) and SE(2) scene perturbations, and on 4 physical tasks. EquAct performs state-of-the-art across these simulation and physical tasks.

arxiv情報

著者 Xupeng Zhu,Yu Qi,Yizhe Zhu,Robin Walters,Robert Platt
発行日 2025-05-27 15:46:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | EquAct: An SE(3)-Equivariant Multi-Task Transformer for Open-Loop Robotic Manipulation はコメントを受け付けていません