Deployable and Generalizable Motion Prediction: Taxonomy, Open Challenges and Future Directions

投稿日: 2025年5月15日 作成者: jarxiv

要約

モーション予測、将来のエージェントの状態またはシーンの進化の予測は、人間の認知、橋渡しの認識、意思決定に根ざしています。
これにより、ロボットや自動運転車などのインテリジェントシステムが、動的で人間が関与した環境で安全に行動し、より広範な時系列の推論の課題に通知することができます。
メソッド、表現、およびデータセットの進歩により、この分野は急速な進歩を遂げ、迅速に進化するベンチマークの結果に反映されています。
しかし、現実の世界に最先端の方法が展開されると、彼らはしばしば、オープンワールドの条件に一般化するのに苦労し、展開基準に達しません。
これにより、研究ベンチマーク間のギャップが明らかになります。これは、多くの場合、理想化または不適切なものであり、実世界の複雑さです。
このギャップに対処するために、この調査では、ロボット工学、自律運転、および人間の動きの応用に重点を置いて、モーション予測モデルの一般化と展開性を再訪します。
最初に、表現、モデリング戦略、アプリケーションドメイン、および評価プロトコルをカバーするモーション予測方法の包括的な分類法を提供します。
次に、2つの重要な課題を研究します。（1）モーション予測モデルを現実的な展開基準に展開できるようにする方法。モーション予測は真空で作用しないが、閉ループの自律スタックの1つのモジュールとして機能します – ローカリゼーションと知覚から入力し、下流の計画と管理を知らせます。
2）限定されたシナリオ/データセットからオープンワールド設定までのモーション予測モデルを一般化する方法。
論文全体を通して、将来の仕事を導くための重要なオープンな課題を強調し、コミュニティの取り組みを再調整し、測定可能であるだけでなく、実際のアプリケーションにとって意味のある進捗を促進することを目指しています。

要約(オリジナル)

Motion prediction, the anticipation of future agent states or scene evolution, is rooted in human cognition, bridging perception and decision-making. It enables intelligent systems, such as robots and self-driving cars, to act safely in dynamic, human-involved environments, and informs broader time-series reasoning challenges. With advances in methods, representations, and datasets, the field has seen rapid progress, reflected in quickly evolving benchmark results. Yet, when state-of-the-art methods are deployed in the real world, they often struggle to generalize to open-world conditions and fall short of deployment standards. This reveals a gap between research benchmarks, which are often idealized or ill-posed, and real-world complexity. To address this gap, this survey revisits the generalization and deployability of motion prediction models, with an emphasis on the applications of robotics, autonomous driving, and human motion. We first offer a comprehensive taxonomy of motion prediction methods, covering representations, modeling strategies, application domains, and evaluation protocols. We then study two key challenges: (1) how to push motion prediction models to be deployable to realistic deployment standards, where motion prediction does not act in a vacuum, but functions as one module of closed-loop autonomy stacks – it takes input from the localization and perception, and informs downstream planning and control. 2) how to generalize motion prediction models from limited seen scenarios/datasets to the open-world settings. Throughout the paper, we highlight critical open challenges to guide future work, aiming to recalibrate the community’s efforts, fostering progress that is not only measurable but also meaningful for real-world applications.

arxiv情報

著者 Letian Wang,Marc-Antoine Lavoie,Sandro Papais,Barza Nisar,Yuxiao Chen,Wenhao Ding,Boris Ivanovic,Hao Shao,Abulikemu Abuduweili,Evan Cook,Yang Zhou,Peter Karkus,Jiachen Li,Changliu Liu,Marco Pavone,Steven Waslander
発行日 2025-05-14 02:21:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Deployable and Generalizable Motion Prediction: Taxonomy, Open Challenges and Future Directions はコメントを受け付けていません

RobotMover: Learning to Move Large Objects From Human Demonstrations

投稿日: 2025年5月15日 作成者: jarxiv

要約

家具や家電などの大きなオブジェクトを移動することは、人間の環境で動作するロボットにとって重要な機能です。
このタスクは、衝突を回避し、かさばる重いオブジェクトのダイナミクスを管理するための全身調整など、独自の課題を提示します。
この作業では、ロボット制御ポリシーを訓練するために人間とオブジェクトのインタラクションデモを使用する大規模なオブジェクト操作のための学習ベースのシステムであるRobotMoverを提示します。
RobotMoverは、インタラクションチェーンと呼ばれる単純化された空間表現を使用した模倣学習として操作問題を定式化します。これは、異なるロボットボディに一般化する方法で必須の相互作用のダイナミクスをキャプチャします。
この相互作用チェーンを報酬関数に組み込み、ドメインランダム化を使用してシミュレーションでポリシーを訓練し、実際のロボットへのゼロショット転送を可能にします。
結果として生じるポリシーにより、スポットロボットは、椅子、テーブル、スタンディングランプなど、さまざまな大きなオブジェクトを操作できます。
シミュレーションと現実の両方の世界での広範な実験を通じて、RobotMoverが能力、堅牢性、および制御性の点で強力なパフォーマンスを達成し、学習ベースラインとテレオ操作の両方のベースラインを上回ることを示しています。
また、このシステムは、学習したポリシーと単純な計画モジュールを組み合わせて、長距離オブジェクトトランスポートと再配置タスクを実行することにより、実用的なアプリケーションをサポートしています。

要約(オリジナル)

Moving large objects, such as furniture or appliances, is a critical capability for robots operating in human environments. This task presents unique challenges, including whole-body coordination to avoid collisions and managing the dynamics of bulky, heavy objects. In this work, we present RobotMover, a learning-based system for large object manipulation that uses human-object interaction demonstrations to train robot control policies. RobotMover formulates the manipulation problem as imitation learning using a simplified spatial representation called the Interaction Chain, which captures essential interaction dynamics in a way that generalizes across different robot bodies. We incorporate this Interaction Chain into a reward function and train policies in simulation using domain randomization to enable zero-shot transfer to real-world robots. The resulting policies allow a Spot robot to manipulate various large objects, including chairs, tables, and standing lamps. Through extensive experiments in both simulation and the real world, we show that RobotMover achieves strong performance in terms of capability, robustness, and controllability, outperforming both learned and teleoperation baselines. The system also supports practical applications by combining learned policies with simple planning modules to perform long-horizon object transport and rearrangement tasks.

arxiv情報

著者 Tianyu Li,Joanne Truong,Jimmy Yang,Alexander Clegg,Akshara Rai,Sehoon Ha,Xavier Puig
発行日 2025-05-14 02:44:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | RobotMover: Learning to Move Large Objects From Human Demonstrations はコメントを受け付けていません

OpenLKA: An Open Dataset of Lane Keeping Assist from Recent Car Models under Real-world Driving Conditions

投稿日: 2025年5月15日 作成者: jarxiv

要約

Lane Keeping Assist（LKA）は現代の車両で広く採用されていますが、現実世界のパフォーマンスは、独自のシステムと限られたデータアクセスのために既存のままです。
このペーパーでは、LKAの評価と改善のための最初のオープンで大規模なデータセットであるOpenlkaを紹介します。
これには、フロリダ州タンパでの広範な道路試験と、Comma.AIの運転コミュニティからの世界的な貢献を通じて収集された50以上の生産車両モデルからの400時間の運転データが含まれています。
データセットは、複雑な道路幾何学、劣化した車線のマーク、悪天候、照明条件、周囲の交通など、幅広い挑戦的なシナリオに及びます。
データセットはマルチモーダルで、次のもので構成されています。i）フル缶バスストリームは、カスタムリバースエンジニアリングDBCファイルを使用してデコードされ、重要なLKAイベント（システムの解放、レーン検出障害など）を抽出します。
ii）同期された高解像度ダッシュカムビデオ。
iii）OpenPilotからのリアルタイム出力は、道路曲率と車線の位置決めの正確な推定値を提供します。
iv）レーンの可視性、舗装品質、天気、照明、交通条件を説明する、ビジョン言語モデルによって生成されるシーン注釈の強化。
車両内部の信号を高忠実度の認識と豊富なセマンティックコンテキストと統合することにより、OpenLKAは、生産LKAシステムの実世界のパフォーマンスをベンチマークするための包括的なプラットフォームを提供し、安全性が批判的な運用シナリオを識別し、自律運転のための現在の道路インフラストラクチャの準備を評価します。
データセットは、https：//github.com/openlka/openlkaで公開されています。

要約(オリジナル)

Lane Keeping Assist (LKA) is widely adopted in modern vehicles, yet its real-world performance remains underexplored due to proprietary systems and limited data access. This paper presents OpenLKA, the first open, large-scale dataset for LKA evaluation and improvement. It includes 400 hours of driving data from 50+ production vehicle models, collected through extensive road testing in Tampa, Florida and global contributions from the Comma.ai driving community. The dataset spans a wide range of challenging scenarios, including complex road geometries, degraded lane markings, adverse weather, lighting conditions and surrounding traffic. The dataset is multimodal, comprising: i) full CAN bus streams, decoded using custom reverse-engineered DBC files to extract key LKA events (e.g., system disengagements, lane detection failures); ii) synchronized high-resolution dash-cam video; iii) real-time outputs from Openpilot, providing accurate estimates of road curvature and lane positioning; iv) enhanced scene annotations generated by Vision Language Models, describing lane visibility, pavement quality, weather, lighting, and traffic conditions. By integrating vehicle-internal signals with high-fidelity perception and rich semantic context, OpenLKA provides a comprehensive platform for benchmarking the real-world performance of production LKA systems, identifying safety-critical operational scenarios, and assessing the readiness of current road infrastructure for autonomous driving. The dataset is publicly available at: https://github.com/OpenLKA/OpenLKA.

arxiv情報

著者 Yuhang Wang,Abdulaziz Alhuraish,Shengming Yuan,Hao Zhou
発行日 2025-05-14 02:53:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | OpenLKA: An Open Dataset of Lane Keeping Assist from Recent Car Models under Real-world Driving Conditions はコメントを受け付けていません

Imitation Learning for Adaptive Control of a Virtual Soft Exoglove

投稿日: 2025年5月15日 作成者: jarxiv

要約

ウェアラブルロボットの使用は、手運動障害のある患者のリハビリテーショントレーニングで広く採用されています。
しかし、患者の筋肉の喪失の独自性はしばしば見落とされます。
補強学習と生物学的に正確な筋骨格モデルを活用して、シミュレーションにおいて、特定の筋肉欠損に対処し、手観察操作タスクの補償を提供できるカスタマイズされたウェアラブルロボットコントローラーを提案します。
人間の把握タスクを実行する同じ主題のビデオデータは、デモンストレーションから学習して操作モデルを訓練するために使用されます。
その後、この操作モデルは、オブジェクト固有の相互作用タスクを実行するために微調整されています。
次に、筋骨格操作モデルの筋肉力が弱体化して神経学的運動障害をシミュレートします。これは、仮想ウェアラブルロボットグローブの作動によって後に補償されます。
結果は、仮想ウェアラブルロボットグローブを統合することで、筋肉力が弱くなったハンドマニピュレーターをサポートするための共有支援を提供することを示しています。
学んだエクソグローブコントローラーは、元の操作能力の平均90.5％を達成しました。

要約(オリジナル)

The use of wearable robots has been widely adopted in rehabilitation training for patients with hand motor impairments. However, the uniqueness of patients’ muscle loss is often overlooked. Leveraging reinforcement learning and a biologically accurate musculoskeletal model in simulation, we propose a customized wearable robotic controller that is able to address specific muscle deficits and to provide compensation for hand-object manipulation tasks. Video data of a same subject performing human grasping tasks is used to train a manipulation model through learning from demonstration. This manipulation model is subsequently fine-tuned to perform object-specific interaction tasks. The muscle forces in the musculoskeletal manipulation model are then weakened to simulate neurological motor impairments, which are later compensated by the actuation of a virtual wearable robotics glove. Results shows that integrating the virtual wearable robotic glove provides shared assistance to support the hand manipulator with weakened muscle forces. The learned exoglove controller achieved an average of 90.5\% of the original manipulation proficiency.

arxiv情報

著者 Shirui Lyu,Vittorio Caggiano,Matteo Leonetti,Dario Farina,Letizia Gionfrida
発行日 2025-05-14 03:09:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Imitation Learning for Adaptive Control of a Virtual Soft Exoglove はコメントを受け付けていません

VGC-RIO: A Tightly Integrated Radar-Inertial Odometry with Spatial Weighted Doppler Velocity and Local Geometric Constrained RCS Histograms

投稿日: 2025年5月15日 作成者: jarxiv

要約

4Dレーダー介入臭トメトリの最近の進歩は、副次的条件における自律的なlo cal剤の有望な可能性を示しています。
ただし、まばらでノイズの多いレーダー測定の効果的な取り扱いは依然として重要な課題です。
この論文では、不均一に分布したポイントと挑戦的なポイント登録のための新しいポイント説明ヒストグラムに適応する空間重み付け方法を備えたレーダー介入臭トメトリを提案します。
異なる空間セクションからのドップラー速度を最大限に活用するために、重み計算モデルを提案します。
挑戦的なシナリオでポイントクラウド登録のパフォーマンスを強化するために、ローカルの幾何学的特徴とレーダー断面（RCS）機能を組み合わせた新しいポイントヒストグラム記述子を構造化します。
また、公共および自己構築されたデータセットの両方で広範な実験を実施しました。
結果は、提案されたVGC-Rioの精度と堅牢性を示しています。

要約(オリジナル)

Recent advances in 4D radar-inertial odometry have demonstrated promising potential for autonomous lo calization in adverse conditions. However, effective handling of sparse and noisy radar measurements remains a critical challenge. In this paper, we propose a radar-inertial odometry with a spatial weighting method that adapts to unevenly distributed points and a novel point-description histogram for challenging point registration. To make full use of the Doppler velocity from different spatial sections, we propose a weighting calculation model. To enhance the point cloud registration performance under challenging scenarios, we con struct a novel point histogram descriptor that combines local geometric features and radar cross-section (RCS) features. We have also conducted extensive experiments on both public and self-constructed datasets. The results demonstrate the precision and robustness of the proposed VGC-RIO.

arxiv情報

著者 Jianguang Xiang,Xiaofeng He,Zizhuo Chen,Lilian Zhang,Xincan Luo,Jun Mao
発行日 2025-05-14 03:20:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | VGC-RIO: A Tightly Integrated Radar-Inertial Odometry with Spatial Weighted Doppler Velocity and Local Geometric Constrained RCS Histograms はコメントを受け付けていません

Air-Ground Collaboration for Language-Specified Missions in Unknown Environments

投稿日: 2025年5月15日 作成者: jarxiv

要約

自律的なロボットシステムがますます成熟するにつれて、ユーザーは低レベルの詳細ではなく、意図のレベルでミッションを指定する必要があります。
言語は、このようなミッション仕様の表現力豊かで直感的な媒体です。
ただし、言語誘導ロボットチームを実現するには、重要な技術的ハードルを克服する必要があります。
言語指定されたミッションの解釈と実現には、高度なセマンティック推論が必要です。
成功した不均一ロボットは、さまざまな視点でアクションを効果的に調整し、情報を共有する必要があります。
さらに、ロボット間の通信は通常断続的であり、コミュニケーションの機会を活用して調整を維持し、ミッション目標を達成する堅牢な戦略を必要とします。
この作業では、無人航空機（UAV）と無人の地上車両（UGV）が自然言語で指定されたミッションを協力的に達成しながら、その場での仕様の変化に対応することができるようになった最初の類似システムを紹介します。
大規模な言語モデル（LLM）対応のプランナーを活用して、オンラインで構築され、空中ロボットとグラウンドロボットの間で日和見的に共有されるセマンティックメトリックマップ上で推論します。
都市部と農村部におけるタスク主導のナビゲーションを検討します。
私たちのシステムは、ミッション関連のセマンティクスを推測し、セマンティックマッピングを介して情報を積極的に取得する必要があります。
グラウンドとエアグラウンドのチーム化実験の両方で、最大キロメートルスケールのナビゲーションで7つの異なる自然言語仕様に関するシステムを実証します。

要約(オリジナル)

As autonomous robotic systems become increasingly mature, users will want to specify missions at the level of intent rather than in low-level detail. Language is an expressive and intuitive medium for such mission specification. However, realizing language-guided robotic teams requires overcoming significant technical hurdles. Interpreting and realizing language-specified missions requires advanced semantic reasoning. Successful heterogeneous robots must effectively coordinate actions and share information across varying viewpoints. Additionally, communication between robots is typically intermittent, necessitating robust strategies that leverage communication opportunities to maintain coordination and achieve mission objectives. In this work, we present a first-of-its-kind system where an unmanned aerial vehicle (UAV) and an unmanned ground vehicle (UGV) are able to collaboratively accomplish missions specified in natural language while reacting to changes in specification on the fly. We leverage a Large Language Model (LLM)-enabled planner to reason over semantic-metric maps that are built online and opportunistically shared between an aerial and a ground robot. We consider task-driven navigation in urban and rural areas. Our system must infer mission-relevant semantics and actively acquire information via semantic mapping. In both ground and air-ground teaming experiments, we demonstrate our system on seven different natural-language specifications at up to kilometer-scale navigation.

arxiv情報

著者 Fernando Cladera,Zachary Ravichandran,Jason Hughes,Varun Murali,Carlos Nieto-Granda,M. Ani Hsieh,George J. Pappas,Camillo J. Taylor,Vijay Kumar
発行日 2025-05-14 03:33:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Air-Ground Collaboration for Language-Specified Missions in Unknown Environments はコメントを受け付けていません

FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis

投稿日: 2025年5月15日 作成者: jarxiv

要約

衣服の変形性により、ロボット衣服操作タスクのために大量の高品質データを生成することは非常に困難です。
この論文では、ロボット衣服の折りたたみに使用できる合成衣服データセットを紹介します。
キーポイントに基づいて幾何学的な衣服テンプレートを構築し、生成モデルを適用して現実的なテクスチャパターンを生成することから始めます。
これらのキーポイントアノテーションを活用して、閉ループ模倣学習を通じて、シミュレーションおよびトレーニング折りたたみポリシーの折りたたみデモを生成します。
堅牢性を向上させるために、キーポイントベースの戦略を使用して障害から回復するためのデモデータを生成するKG-Daggerを提案します。
KG-Daggerはモデルのパフォーマンスを大幅に改善し、実際の成功率を25％増加させます。
15kの軌跡（約2mの画像アクションペア）でトレーニングした後、モデルは現実世界で75％の成功率を達成します。
シミュレーションと現実世界の両方の設定での実験により、提案されたフレームワークの有効性が検証されます。

要約(オリジナル)

Due to the deformability of garments, generating a large amount of high-quality data for robotic garment manipulation tasks is highly challenging. In this paper, we present a synthetic garment dataset that can be used for robotic garment folding. We begin by constructing geometric garment templates based on keypoints and applying generative models to generate realistic texture patterns. Leveraging these keypoint annotations, we generate folding demonstrations in simulation and train folding policies via closed-loop imitation learning. To improve robustness, we propose KG-DAgger, which uses a keypoint-based strategy to generate demonstration data for recovering from failures. KG-DAgger significantly improves the model performance, boosting the real-world success rate by 25\%. After training with 15K trajectories (about 2M image-action pairs), the model achieves a 75\% success rate in the real world. Experiments in both simulation and real-world settings validate the effectiveness of our proposed framework.

arxiv情報

著者 Yuxing Chen,Bowen Xiao,He Wang
発行日 2025-05-14 03:34:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis はコメントを受け付けていません

Model Identification Adaptive Control with $ρ$-POMDP Planning

投稿日: 2025年5月15日 作成者: jarxiv

要約

正確なシステムモデリングは、特に部分的な観測可能性の下で、誤認が累積エラーにつながる可能性があるため、安全で効果的な制御には重要です。
信念宇宙計画の問題として、有益な入力設計（IID）およびモデル識別適応制御（MIAC）を策定することにより、この問題に対処します。
システムのパラメーターを、システムを同時に制御しながらローカライズする必要がある隠された状態変数として扱います。
この問題は、適応された信念空間反復線形二次レギュレーター（BILQR）で解決します。
カートポールおよび安定した航空機の飛行ドメインの完全かつ部分的に観察可能なタスクでそれを示します。
私たちの方法は、システムパラメーターへの瞬時の妨害下であっても、回帰、フィルタリング、局所的な最適制御方法などのベースラインよりも優れています。

要約(オリジナル)

Accurate system modeling is crucial for safe, effective control, as misidentification can lead to accumulated errors, especially under partial observability. We address this problem by formulating informative input design (IID) and model identification adaptive control (MIAC) as belief space planning problems, modeled as partially observable Markov decision processes with belief-dependent rewards ($\rho$-POMDPs). We treat system parameters as hidden state variables that must be localized while simultaneously controlling the system. We solve this problem with an adapted belief-space iterative Linear Quadratic Regulator (BiLQR). We demonstrate it on fully and partially observable tasks for cart-pole and steady aircraft flight domains. Our method outperforms baselines such as regression, filtering, and local optimal control methods, even under instantaneous disturbances to system parameters.

arxiv情報

著者 Michelle Ho,Arec Jamgochian,Mykel J. Kochenderfer
発行日 2025-05-14 04:06:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Model Identification Adaptive Control with $ρ$-POMDP Planning はコメントを受け付けていません

Dexterous Contact-Rich Manipulation via the Contact Trust Region

投稿日: 2025年5月15日 作成者: jarxiv

要約

コンタクトが豊富な操作のためのコンタクトダイナミクスの良いローカル説明は何ですか？また、このローカルな説明はどこで信頼できますか？
多くのアプローチは、しばしば楕円形の信頼領域とのダイナミクスのテイラー近似に依存していることがよくありますが、そのようなアプローチは接触の一方的な性質と根本的に矛盾していると主張します。
治療薬として、コンタクトトラスト地域（CTR）を提示します。これは、計算のために効率的なままでありながら、接触の一方的な性質を捉えています。
CTRを使用すると、最初に、地元の接触豊富な計画を合成できるモデル予測制御（MPC）アルゴリズムを開発します。
次に、ローカルMPCプランを縫い合わせて、効率的かつ器用な接触リッチ操作を可能にすることにより、この機能をグローバルに計画する能力を拡張します。
当社の方法のパフォーマンスを検証するために、平面IIWabimanualシステムと3Dアレグロハンドシステムの2つの接触豊富なシステムで、高忠実度シミュレーションとハードウェアの両方で包括的な評価を実行します。
どちらのシステムでも、この方法では、接触豊富な操作に対する既存のRLベースのアプローチに代わる、大幅に低い計算の代替品を提供します。
特に、ロードマップの形で、Allegroの手の操作ポリシーは、CPUのみを使用して標準のラップトップでオフラインで構築するのに10分未満かかり、オンラインの推論はわずか数秒かかります。
実験データ、ビデオ、コードは、ctr.theaiinstitute.comで入手できます。

要約(オリジナル)

What is a good local description of contact dynamics for contact-rich manipulation, and where can we trust this local description? While many approaches often rely on the Taylor approximation of dynamics with an ellipsoidal trust region, we argue that such approaches are fundamentally inconsistent with the unilateral nature of contact. As a remedy, we present the Contact Trust Region (CTR), which captures the unilateral nature of contact while remaining efficient for computation. With CTR, we first develop a Model-Predictive Control (MPC) algorithm capable of synthesizing local contact-rich plans. Then, we extend this capability to plan globally by stitching together local MPC plans, enabling efficient and dexterous contact-rich manipulation. To verify the performance of our method, we perform comprehensive evaluations, both in high-fidelity simulation and on hardware, on two contact-rich systems: a planar IiwaBimanual system and a 3D AllegroHand system. On both systems, our method offers a significantly lower-compute alternative to existing RL-based approaches to contact-rich manipulation. In particular, our Allegro in-hand manipulation policy, in the form of a roadmap, takes fewer than 10 minutes to build offline on a standard laptop using just its CPU, with online inference taking just a few seconds. Experiment data, video and code are available at ctr.theaiinstitute.com.

arxiv情報

著者 H. J. Terry Suh,Tao Pang,Tong Zhao,Russ Tedrake
発行日 2025-05-14 04:35:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Dexterous Contact-Rich Manipulation via the Contact Trust Region はコメントを受け付けていません

Morphological-Symmetry-Equivariant Heterogeneous Graph Neural Network for Robotic Dynamics Learning

投稿日: 2025年5月15日 作成者: jarxiv

要約

ロボットダイナミクス学習のために、ロボットの運動学的構造と形態学的対称性を単一のグラフネットワークに統合するために、形態学的音響測定 – equivariant-equiveriant-equivaniant equivanes graph neural network、すなわちMS-HGNNを提示します。
これらの構造的事前は、制約として学習アーキテクチャに組み込まれており、高い一般化、サンプル、モデルの効率を確保します。
提案されているMS-HGNNは、さまざまなマルチボディダイナミックシステムと幅広いダイナミクス学習問題に適用できる多用途で一般的なアーキテクチャです。
私たちは、MS-HGNNの形態音響体測定 – 識別特性を正式に証明し、実際のデータとシミュレートされたデータの両方を使用して、複数の四足動物のロボット学習問題にわたってその有効性を検証します。
私たちのコードは、https://github.com/lunarlab-gatech/morphsym-hgnn/で公開されています。

要約(オリジナル)

We present a morphological-symmetry-equivariant heterogeneous graph neural network, namely MS-HGNN, for robotic dynamics learning, that integrates robotic kinematic structures and morphological symmetries into a single graph network. These structural priors are embedded into the learning architecture as constraints, ensuring high generalizability, sample and model efficiency. The proposed MS-HGNN is a versatile and general architecture that is applicable to various multi-body dynamic systems and a wide range of dynamics learning problems. We formally prove the morphological-symmetry-equivariant property of our MS-HGNN and validate its effectiveness across multiple quadruped robot learning problems using both real-world and simulated data. Our code is made publicly available at https://github.com/lunarlab-gatech/MorphSym-HGNN/.

arxiv情報

著者 Fengze Xie,Sizhe Wei,Yue Song,Yisong Yue,Lu Gan
発行日 2025-05-14 04:48:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Morphological-Symmetry-Equivariant Heterogeneous Graph Neural Network for Robotic Dynamics Learning はコメントを受け付けていません