Collision-Aware Traversability Analysis for Autonomous Vehicles in the Context of Agricultural Robotics

投稿日: 2025年3月12日 作成者: jarxiv

要約

この論文では、農業ロボット工学の安全なナビゲーションのための新しい方法を紹介します。
地球環境の課題が激化するにつれて、ロボット工学は、食料生産の需要の増加を満たしながら、化学的使用を減らすための強力なソリューションを提供します。
ただし、構造化されていない農業環境で動作するロボットの自律性と回復力を確保することには、重要な課題が残っています。
作物や背の高い草などの障害物は、変形可能なもので、硬直した障害と比較して、安全に横断可能であると特定する必要があります。
これに対処するために、LIDARとマルチスペクトルカメラを使用して再構築された3Dスペクトルマップに基づいた新しいトラバース性分析方法を提案します。
このアプローチにより、ロボットは、変形可能な障害物との安全な衝突と危険な衝突を区別できます。
植生検出のためのマルチスペクトルメトリックの包括的な評価を実行し、これらのメトリックを拡張環境マップに組み込みます。
このマップを利用して、ロボットの重量とサイズを説明する物理ベースの移動性メトリックを計算し、変形可能な障害に対する安全なナビゲーションを確保します。

要約(オリジナル)

In this paper, we introduce a novel method for safe navigation in agricultural robotics. As global environmental challenges intensify, robotics offers a powerful solution to reduce chemical usage while meeting the increasing demands for food production. However, significant challenges remain in ensuring the autonomy and resilience of robots operating in unstructured agricultural environments. Obstacles such as crops and tall grass, which are deformable, must be identified as safely traversable, compared to rigid obstacles. To address this, we propose a new traversability analysis method based on a 3D spectral map reconstructed using a LIDAR and a multispectral camera. This approach enables the robot to distinguish between safe and unsafe collisions with deformable obstacles. We perform a comprehensive evaluation of multispectral metrics for vegetation detection and incorporate these metrics into an augmented environmental map. Utilizing this map, we compute a physics-based traversability metric that accounts for the robot’s weight and size, ensuring safe navigation over deformable obstacles.

arxiv情報

著者 Florian Philippe,Johann Laconte,Pierre-Jean Lapray,Matthias Spisser,Jean-Philippe Lauffenburger
発行日 2025-03-11 11:01:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Collision-Aware Traversability Analysis for Autonomous Vehicles in the Context of Agricultural Robotics はコメントを受け付けていません

Distillation-PPO: A Novel Two-Stage Reinforcement Learning Framework for Humanoid Robot Perceptive Locomotion

投稿日: 2025年3月12日 作成者: jarxiv

要約

近年、ヒューマノイドロボットは、環境と人間のような特性に対する適応性が高いため、学界と産業の両方から大きな注目を集めています。
補強学習の急速な進歩により、ヒューマノイドロボットのウォーキングコントロールが大幅に進歩しました。
ただし、既存の方法は、複雑な環境や不規則な地形を扱う際に依然として課題に直面しています。
知覚的な移動の分野では、既存のアプローチは一般に2段階の方法とエンドツーエンドの方法に分割されます。
2段階の方法最初に、シミュレートされた環境で教師ポリシーを訓練し、次にDaggerなどの蒸留技術を使用して、学習した特権情報を学生ポリシーに潜在的な特徴または行動として転送します。
一方、エンドツーエンドの方法は、特権情報の学習を控え、強化学習を通じて部分的に観察可能なマルコフ決定プロセス（POMDP）からポリシーを直接学習します。
ただし、教師ポリシーからの監督が不足しているため、エンドツーエンドの方法はトレーニングの困難に直面し、実際のアプリケーションで不安定なパフォーマンスを示します。
このペーパーでは、学生ポリシーを正規化および監督するために、完全に観察可能なマルコフ決定プロセス（MDP）で学んだ教師ポリシーの利点を組み合わせた革新的な2段階の知覚運動フレームワークを提案します。
同時に、補強学習の特性を活用して、学生ポリシーがPOMDPで学習を続けることができることを保証し、それによってモデルの上限が強化されます。
実験結果は、2段階のトレーニングフレームワークがシミュレートされた環境でより高いトレーニング効率と安定性を達成し、現実世界のアプリケーションでより良い堅牢性と一般化機能を示すことを示しています。

要約(オリジナル)

In recent years, humanoid robots have garnered significant attention from both academia and industry due to their high adaptability to environments and human-like characteristics. With the rapid advancement of reinforcement learning, substantial progress has been made in the walking control of humanoid robots. However, existing methods still face challenges when dealing with complex environments and irregular terrains. In the field of perceptive locomotion, existing approaches are generally divided into two-stage methods and end-to-end methods. Two-stage methods first train a teacher policy in a simulated environment and then use distillation techniques, such as DAgger, to transfer the privileged information learned as latent features or actions to the student policy. End-to-end methods, on the other hand, forgo the learning of privileged information and directly learn policies from a partially observable Markov decision process (POMDP) through reinforcement learning. However, due to the lack of supervision from a teacher policy, end-to-end methods often face difficulties in training and exhibit unstable performance in real-world applications. This paper proposes an innovative two-stage perceptive locomotion framework that combines the advantages of teacher policies learned in a fully observable Markov decision process (MDP) to regularize and supervise the student policy. At the same time, it leverages the characteristics of reinforcement learning to ensure that the student policy can continue to learn in a POMDP, thereby enhancing the model’s upper bound. Our experimental results demonstrate that our two-stage training framework achieves higher training efficiency and stability in simulated environments, while also exhibiting better robustness and generalization capabilities in real-world applications.

arxiv情報

著者 Qiang Zhang,Gang Han,Jingkai Sun,Wen Zhao,Chenghao Sun,Jiahang Cao,Jiaxu Wang,Yijie Guo,Renjing Xu
発行日 2025-03-11 11:10:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Distillation-PPO: A Novel Two-Stage Reinforcement Learning Framework for Humanoid Robot Perceptive Locomotion はコメントを受け付けていません

General-Purpose Aerial Intelligent Agents Empowered by Large Language Models

投稿日: 2025年3月12日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の出現は、無人航空機（UAVS）の新しいフロンティアを開きますが、既存のシステムは、ハードウェアソフトウェアの共同設定の課題により、事前定義されたタスクに限定されたままです。
このペーパーでは、LLMベースの推論とロボットの自律性を緊密に統合することにより、オープンワールドタスクの実行が可能な最初の空中インテリジェントエージェントを紹介します。
当社のハードウェアソフトウェアの共同設計システムは、2つの基本的な制限に対処します。（1）220Wピーク電力での14B-Parameterモデルの5-6トークン/SEC推論を達成するエッジ最適化コンピューティングプラットフォームを介したオンボードLLM操作。
（2）速いリアクティブ制御（状態推定、マッピング、障害物回避、およびモーション計画）で遅い審議計画（LLMタスク計画）を相乗する双方向の認知アーキテクチャ。
当社のプロトタイプを使用して予備的な結果を通じて検証されたこのシステムは、サトウキビの監視、電源グリッド検査、鉱山トンネル探査、生物学的観察アプリケーションなど、コミュニケーションが制約されている環境で信頼できるタスク計画とシーンの理解を示しています。
この作業は、具体化された航空人工知能のための新しいフレームワークを確立し、オープン環境でのタスク計画とロボットの自律性のギャップを埋めます。

要約(オリジナル)

The emergence of large language models (LLMs) opens new frontiers for unmanned aerial vehicle (UAVs), yet existing systems remain confined to predefined tasks due to hardware-software co-design challenges. This paper presents the first aerial intelligent agent capable of open-world task execution through tight integration of LLM-based reasoning and robotic autonomy. Our hardware-software co-designed system addresses two fundamental limitations: (1) Onboard LLM operation via an edge-optimized computing platform, achieving 5-6 tokens/sec inference for 14B-parameter models at 220W peak power; (2) A bidirectional cognitive architecture that synergizes slow deliberative planning (LLM task planning) with fast reactive control (state estimation, mapping, obstacle avoidance, and motion planning). Validated through preliminary results using our prototype, the system demonstrates reliable task planning and scene understanding in communication-constrained environments, such as sugarcane monitoring, power grid inspection, mine tunnel exploration, and biological observation applications. This work establishes a novel framework for embodied aerial artificial intelligence, bridging the gap between task planning and robotic autonomy in open environments.

arxiv情報

著者 Ji Zhao,Xiao Lin
発行日 2025-03-11 11:13:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | General-Purpose Aerial Intelligent Agents Empowered by Large Language Models はコメントを受け付けていません

Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach

投稿日: 2025年3月12日 作成者: jarxiv

要約

具体化されたAIの進歩により、エンドツーエンドの訓練を受けたエージェントが、高レベルの推論とゼロショットまたは言語条件付けの動作を備えた写真リアルな環境でナビゲートすることが可能になりましたが、ベンチマークはまだシミュレーションによって支配されています。
この作業では、急速に移動する本物のロボットのきめの細かい動作に焦点を当て、物理的なロボットを備えた実際の環境で\ numepisodes {}ナビゲーションエピソードを含む大規模な実験的研究を提示します。
特に、エージェントがオープンループ予測のために学んだ現実的なダイナミクスの存在と、センシングとの相互作用を研究します。
エージェントが潜在メモリを使用して、探査中に収集されたシーン構造と情報の要素を保持する方法を分析します。
エージェントの計画能力を調査し、限られた地平線よりも多少正確な計画の記憶の証拠を見つけます。
さらに、事後分析では、エージェントが学んだ値関数が長期計画に関連していることを示します。
まとめて、私たちの実験では、コンピュータービジョンとシーケンシャルな意思決定からのツールを使用することで、ロボット工学と制御の新しい機能につながったことについての新しい絵を描きます。
インタラクティブツールは、europe.naverlabs.com/research/publications/reasoning-in-visual-navigation of-end-end-trained-agentで入手できます。

要約(オリジナル)

Progress in Embodied AI has made it possible for end-to-end-trained agents to navigate in photo-realistic environments with high-level reasoning and zero-shot or language-conditioned behavior, but benchmarks are still dominated by simulation. In this work, we focus on the fine-grained behavior of fast-moving real robots and present a large-scale experimental study involving \numepisodes{} navigation episodes in a real environment with a physical robot, where we analyze the type of reasoning emerging from end-to-end training. In particular, we study the presence of realistic dynamics which the agent learned for open-loop forecasting, and their interplay with sensing. We analyze the way the agent uses latent memory to hold elements of the scene structure and information gathered during exploration. We probe the planning capabilities of the agent, and find in its memory evidence for somewhat precise plans over a limited horizon. Furthermore, we show in a post-hoc analysis that the value function learned by the agent relates to long-term planning. Put together, our experiments paint a new picture on how using tools from computer vision and sequential decision making have led to new capabilities in robotics and control. An interactive tool is available at europe.naverlabs.com/research/publications/reasoning-in-visual-navigation-of-end-to-end-trained-agents.

arxiv情報

著者 Steeven Janny,Hervé Poirier,Leonid Antsfeld,Guillaume Bono,Gianluca Monaci,Boris Chidlovskii,Francesco Giuliari,Alessio Del Bue,Christian Wolf
発行日 2025-03-11 11:16:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO | Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach はコメントを受け付けていません

Dynamic Risk Assessment for Human-Robot Collaboration Using a Heuristics-based Approach

投稿日: 2025年3月12日 作成者: jarxiv

要約

Human-Robot Collaboration（HRC）は、特に共同ロボット（コボット）と一緒に作業する人間のオペレーターを保護する上で、重要な安全上の課題をもたらします。
現在のISO基準はリスク評価とハザードの識別を強調していますが、これらの手順は、多数の設計要因と動的な相互作用を伴うHRC環境の複雑さに対処するためにはしばしば不十分です。
この出版物は、客観的な危険分析の方法を提示し、動的なリスク評価をサポートし、専門知識への依存を超えて拡大します。
このアプローチは、人体の部分とコボット間の距離などのシーンパラメーター、およびコボットのデカルト速度を監視します。
さらに、共同ワークスペース内の人間の頭の向きに焦点を当てた人類中心のパラメーターが導入されています。
これらのパラメーターは、非線形ヒューリスティック関数を使用してハザードインジケーターに変換されます。
その後、ハザードインジケーターを集計して、特定のシナリオの総ハザードレベルを推定します。
提案された方法は、人間のオペレーターとコボットの間のさまざまな相互作用を描写する産業データセットを使用して評価されます。

要約(オリジナル)

Human-robot collaboration (HRC) introduces significant safety challenges, particularly in protecting human operators working alongside collaborative robots (cobots). While current ISO standards emphasize risk assessment and hazard identification, these procedures are often insufficient for addressing the complexity of HRC environments, which involve numerous design factors and dynamic interactions. This publication presents a method for objective hazard analysis to support Dynamic Risk Assessment, extending beyond reliance on expert knowledge. The approach monitors scene parameters, such as the distance between human body parts and the cobot, as well as the cobot`s Cartesian velocity. Additionally, an anthropocentric parameter focusing on the orientation of the human head within the collaborative workspace is introduced. These parameters are transformed into hazard indicators using non-linear heuristic functions. The hazard indicators are then aggregated to estimate the total hazard level of a given scenario. The proposed method is evaluated using an industrial dataset that depicts various interactions between a human operator and a cobot.

arxiv情報

著者 Georgios Katranis,Frederik Plahl,Joachim Grimstadt,Ilshat Mamaev,Silvia Vock,Andrey Morozov
発行日 2025-03-11 11:25:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Dynamic Risk Assessment for Human-Robot Collaboration Using a Heuristics-based Approach はコメントを受け付けていません

Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios

投稿日: 2025年3月12日 作成者: jarxiv

要約

自動運転車の安全性を確保するには、さまざまな動的な駆動シナリオにわたって、カメラとLIDARセンサーの両方からの入力を含むマルチセンサーデータの包括的なシミュレーションが必要です。
収集された生センサーデータを利用してこれらの動的環境をシミュレートするニューラルレンダリング技術は、主要な方法論として浮上しています。
NERFベースのアプローチは、カメラとLidarの両方からデータをレンダリングするためのシーンを均一に表すことができますが、サンプリングが密なため、速度が遅いため、妨げられます。
逆に、ガウスのスプラッティングベースの方法は、シーン表現のためにガウスプリミティブを使用し、ラスター化による迅速なレンダリングを達成します。
ただし、これらのラスター化ベースの技術は、非線形光学センサーを正確にモデル化するのに苦労しています。
この制限により、ピンホールカメラを超えたセンサーへの適用性が制限されます。
これらの課題に対処し、ガウスプリミティブを使用した動的運転シナリオの統一された表現を可能にするために、この研究は新しいハイブリッドアプローチを提案します。
私たちのメソッドは、Lidarデータレンダリング用のガウスレイトレースを使用しながら、画像データをレンダリングするためにラスター化を利用しています。
パブリックデータセットの実験結果は、私たちのアプローチが現在の最先端の方法よりも優れていることを示しています。
この作業は、ガウスプリミティブを使用した自律運転シナリオにおけるカメラとライダーデータの現実的なシミュレーションのための統一された効率的なソリューションを提供し、品質と計算効率の両方のレンダリングの両方に大きな進歩をもたらします。

要約(オリジナル)

Ensuring the safety of autonomous vehicles necessitates comprehensive simulation of multi-sensor data, encompassing inputs from both cameras and LiDAR sensors, across various dynamic driving scenarios. Neural rendering techniques, which utilize collected raw sensor data to simulate these dynamic environments, have emerged as a leading methodology. While NeRF-based approaches can uniformly represent scenes for rendering data from both camera and LiDAR, they are hindered by slow rendering speeds due to dense sampling. Conversely, Gaussian Splatting-based methods employ Gaussian primitives for scene representation and achieve rapid rendering through rasterization. However, these rasterization-based techniques struggle to accurately model non-linear optical sensors. This limitation restricts their applicability to sensors beyond pinhole cameras. To address these challenges and enable unified representation of dynamic driving scenarios using Gaussian primitives, this study proposes a novel hybrid approach. Our method utilizes rasterization for rendering image data while employing Gaussian ray-tracing for LiDAR data rendering. Experimental results on public datasets demonstrate that our approach outperforms current state-of-the-art methods. This work presents a unified and efficient solution for realistic simulation of camera and LiDAR data in autonomous driving scenarios using Gaussian primitives, offering significant advancements in both rendering quality and computational efficiency.

arxiv情報

著者 Zikang Yuan,Yuechuan Pu,Hongcheng Luo,Fengtian Lang,Cheng Chi,Teng Li,Yingying Shen,Haiyang Sun,Bing Wang,Xin Yang
発行日 2025-03-11 11:25:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.NI, cs.RO | Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios はコメントを受け付けていません

RoboCAP: Robotic Classification and Precision Pouring of Diverse Liquids and Granular Media with Capacitive Sensing

投稿日: 2025年3月12日 作成者: jarxiv

要約

液体と粒状媒体は、人間の環境全体に広まっていますが、ロボットが正確に感知し操作することは特に挑戦的です。
この作業では、ロボットエンドエフェクター内に静電容量センシングを統合して、液体と粒状培地の堅牢なセンシングと正確な操作を可能にするための体系的なアプローチを提示します。
ロボットが視覚的に不透明を含む多様な容器内の液体の材料とダイナミクスを直接感知できるようにする、埋め込まれた静電容量センシングアレイを備えたパラレルジョーロボキャップグリッパーを導入します。
モデルベースの制御と組み合わせると、提案されたシステムにより、ロボットマニピュレーターがダイナミクス特性がさまざまな範囲の物質に対して最先端の精度の精度を実現できることを実証します。
コード、デザイン、およびビルドの詳細は、プロジェクトWebサイトで入手できます。

要約(オリジナル)

Liquids and granular media are pervasive throughout human environments, yet remain particularly challenging for robots to sense and manipulate precisely. In this work, we present a systematic approach at integrating capacitive sensing within robotic end effectors to enable robust sensing and precise manipulation of liquids and granular media. We introduce the parallel-jaw RoboCAP Gripper with embedded capacitive sensing arrays that enable a robot to directly sense the materials and dynamics of liquids inside of diverse containers, including some visually opaque. When coupled with model-based control, we demonstrate that the proposed system enables a robotic manipulator to achieve state-of-the-art precision pouring accuracy for a range of substances with varying dynamics properties. Code, designs, and build details are available on the project website.

arxiv情報

著者 Yexin Hu,Alexandra Gillespie,Akhil Padmanabha,Kavya Puthuveetil,Wesley Lewis,Karan Khokar,Zackory Erickson
発行日 2025-03-11 11:42:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | RoboCAP: Robotic Classification and Precision Pouring of Diverse Liquids and Granular Media with Capacitive Sensing はコメントを受け付けていません

KiteRunner: Language-Driven Cooperative Local-Global Navigation Policy with UAV Mapping in Outdoor Environments

投稿日: 2025年3月12日 作成者: jarxiv

要約

オープンワールドの屋外環境での自律的なナビゲーションは、動的条件、長距離空間推論、および意味的理解を統合する上での課題に直面しています。
従来の方法は、地元の計画、グローバルな計画、セマンティックタスクの実行のバランスをとるのに苦労していますが、既存の大規模な言語モデル（LLM）はセマンティック理解を高めますが、空間的推論能力がありません。
拡散モデルはローカルの最適化に優れていますが、大規模な長距離ナビゲーションには不足しています。
これらのギャップに対処するために、このペーパーでは、UAVオルトフォトベースのグローバル計画と、オープンワールドシナリオでの長距離ナビゲーションのための拡散モデル駆動型ローカルパス生成を組み合わせた言語主導の協同組合のローカルグロバルナビゲーション戦略であるKiterunnerを提案します。
私たちの方法は、リアルタイムのUAVオルソフォトグラフィーを革新的に活用してグローバルな確率マップを構築し、自然言語の指示を解釈するためにクリップやGPTなどの大規模なモデルを統合しながら、ローカルプランナーの移動性ガイダンスを提供します。
実験では、Kiterunnerがそれぞれ、構造化された環境と非構造化されていない環境で最先端の方法よりもパス効率が5.6％および12.8％の改善を達成し、人間の介入と実行時間の大幅な削減を実現することを示しています。

要約(オリジナル)

Autonomous navigation in open-world outdoor environments faces challenges in integrating dynamic conditions, long-distance spatial reasoning, and semantic understanding. Traditional methods struggle to balance local planning, global planning, and semantic task execution, while existing large language models (LLMs) enhance semantic comprehension but lack spatial reasoning capabilities. Although diffusion models excel in local optimization, they fall short in large-scale long-distance navigation. To address these gaps, this paper proposes KiteRunner, a language-driven cooperative local-global navigation strategy that combines UAV orthophoto-based global planning with diffusion model-driven local path generation for long-distance navigation in open-world scenarios. Our method innovatively leverages real-time UAV orthophotography to construct a global probability map, providing traversability guidance for the local planner, while integrating large models like CLIP and GPT to interpret natural language instructions. Experiments demonstrate that KiteRunner achieves 5.6% and 12.8% improvements in path efficiency over state-of-the-art methods in structured and unstructured environments, respectively, with significant reductions in human interventions and execution time.

arxiv情報

著者 Shibo Huang,Chenfan Shi,Jian Yang,Hanlin Dong,Jinpeng Mi,Ke Li,Jianfeng Zhang,Miao Ding,Peidong Liang,Xiong You,Xian Wei
発行日 2025-03-11 11:44:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | KiteRunner: Language-Driven Cooperative Local-Global Navigation Policy with UAV Mapping in Outdoor Environments はコメントを受け付けていません

Trinity: A Modular Humanoid Robot AI System

投稿日: 2025年3月12日 作成者: jarxiv

要約

近年、ヒューマノイドロボットに関する研究により、注目が高まっています。
さまざまな種類の人工知能アルゴリズムのブレークスルーにより、ヒューマノイドロボットによって例示される具体化された知能が非常に期待されています。
補強学習（RL）アルゴリズムの進歩により、ヒューマノイドロボットのモーション制御と一般化能力が大幅に改善されました。
同時に、大規模な言語モデル（LLM）と視覚言語モデル（VLM）の画期的な進捗状況は、ヒューマノイドロボットにより多くの可能性と想像力をもたらしました。
LLMにより、ヒューマノイドロボットは言語命令からの複雑なタスクを理解し、長期的なタスク計画を実行できますが、VLMはロボットの環境との理解と相互作用を大幅に向上させます。
このペーパーでは、RL、LLM、およびVLMを統合するヒューマノイドロボットの新しいAIシステムである\ TextColor {Magenta} {Trinity}を紹介します。
これらの技術を組み合わせることにより、Trinityは複雑な環境でヒューマノイドロボットを効率的に制御できるようにします。
この革新的なアプローチは、機能を強化するだけでなく、ヒューマノイドロボット工学の将来の研究と応用のための新しい道を開きます。

要約(オリジナル)

In recent years, research on humanoid robots has garnered increasing attention. With breakthroughs in various types of artificial intelligence algorithms, embodied intelligence, exemplified by humanoid robots, has been highly anticipated. The advancements in reinforcement learning (RL) algorithms have significantly improved the motion control and generalization capabilities of humanoid robots. Simultaneously, the groundbreaking progress in large language models (LLM) and visual language models (VLM) has brought more possibilities and imagination to humanoid robots. LLM enables humanoid robots to understand complex tasks from language instructions and perform long-term task planning, while VLM greatly enhances the robots’ understanding and interaction with their environment. This paper introduces \textcolor{magenta}{Trinity}, a novel AI system for humanoid robots that integrates RL, LLM, and VLM. By combining these technologies, Trinity enables efficient control of humanoid robots in complex environments. This innovative approach not only enhances the capabilities but also opens new avenues for future research and applications of humanoid robotics.

arxiv情報

著者 Jingkai Sun,Qiang Zhang,Gang Han,Wen Zhao,Zhe Yong,Yan He,Jiaxu Wang,Jiahang Cao,Yijie Guo,Renjing Xu
発行日 2025-03-11 11:50:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Trinity: A Modular Humanoid Robot AI System はコメントを受け付けていません

LiPS: Large-Scale Humanoid Robot Reinforcement Learning with Parallel-Series Structures

投稿日: 2025年3月12日 作成者: jarxiv

要約

近年、ヒューマノイドロボットに関する研究は、特に補強学習ベースのコントロールアルゴリズムにおいて、大きなブレークスルーを達成していることにおいて大きな注目を集めています。
従来のモデルベースの制御アルゴリズムと比較して、補強学習ベースのアルゴリズムは、複雑なタスクの処理において大きな利点を示しています。
GPUの大規模な並列コンピューティング機能を活用すると、現代のヒューマノイドロボットは、シミュレートされた環境で広範な並行トレーニングを受ける可能性があります。
大規模な並列トレーニングが可能な物理シミュレーションプラットフォームは、ヒューマノイドロボットの開発に不可欠です。
最も複雑なロボット形式の1つとして、ヒューマノイドロボットは通常、複雑な機械的構造を持ち、多数のシリーズと並列メカニズムを網羅しています。
ただし、多くの強化学習ベースのヒューマノイドロボット制御アルゴリズムは現在、トレーニング中にオープンループトポロジを採用しており、SIM2real位相までのシリーズ並列構造への変換を延期しています。
現在のGPUベースの物理エンジンは、多くの場合、オープンループトポロジのみをサポートするか、多縁体閉ループトポロジをシミュレートする機能が限られているため、このアプローチは主に物理エンジンの制限によるものです。
強化学習ベースのヒューマノイドロボット制御アルゴリズムを大規模な平行環境でトレーニングできるようにするために、新しいトレーニング方法の唇を提案します。
シミュレーション環境にマルチリジッドボディダイナミクスモデリングを組み込むことにより、モデルの展開中にSim2realギャップと並列構造に変換することの難しさを大幅に削減し、それによりヒューマノイドロボットの大規模な補強学習を堅牢にサポートします。

要約(オリジナル)

In recent years, research on humanoid robots has garnered significant attention, particularly in reinforcement learning based control algorithms, which have achieved major breakthroughs. Compared to traditional model-based control algorithms, reinforcement learning based algorithms demonstrate substantial advantages in handling complex tasks. Leveraging the large-scale parallel computing capabilities of GPUs, contemporary humanoid robots can undergo extensive parallel training in simulated environments. A physical simulation platform capable of large-scale parallel training is crucial for the development of humanoid robots. As one of the most complex robot forms, humanoid robots typically possess intricate mechanical structures, encompassing numerous series and parallel mechanisms. However, many reinforcement learning based humanoid robot control algorithms currently employ open-loop topologies during training, deferring the conversion to series-parallel structures until the sim2real phase. This approach is primarily due to the limitations of physics engines, as current GPU-based physics engines often only support open-loop topologies or have limited capabilities in simulating multi-rigid-body closed-loop topologies. For enabling reinforcement learning-based humanoid robot control algorithms to train in large-scale parallel environments, we propose a novel training method LiPS. By incorporating multi-rigid-body dynamics modeling in the simulation environment, we significantly reduce the sim2real gap and the difficulty of converting to parallel structures during model deployment, thereby robustly supporting large-scale reinforcement learning for humanoid robots.

arxiv情報

著者 Qiang Zhang,Gang Han,Jingkai Sun,Wen Zhao,Jiahang Cao,Jiaxu Wang,Hao Cheng,Lingfeng Zhang,Yijie Guo,Renjing Xu
発行日 2025-03-11 12:05:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | LiPS: Large-Scale Humanoid Robot Reinforcement Learning with Parallel-Series Structures はコメントを受け付けていません