V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models

投稿日: 2025年2月17日 作成者: jarxiv

要約

現在の自律運転車両は、主に個々のセンサーに依存して、周囲のシーンを理解し、将来の軌跡を計画します。
この問題に対処するために、車両から車両（V2V）通信を介した協同的認識方法が提案されていますが、検出と追跡に焦点を当てる傾向がありました。
これらのアプローチが全体的な協同組合の計画パフォーマンスにどのように貢献するかは、まだ依然として標準未満です。
大規模な言語モデル（LLMS）を使用して自律駆動システムを構築する最近の進捗状況に触発された私たちは、LLMを協力的な自律運転に統合する新しい問題設定を提案し、車両から車両から車両への質問回答（V2V-QA）データセットと
ベンチマーク。
また、LLMを使用して複数の接続された自律車両（Cavs）から知覚情報を融合し、運転関連の質問に応答するベースラインメソッドの車両間大型言語モデル（V2V-LLM）を提案します。
計画。
実験結果は、提案されているV2V-LLMが、協力的な自律運転のさまざまなタスクを実行するための有望な統一モデルアーキテクチャになり、異なる核融合アプローチを使用する他のベースライン方法よりも優れていることを示しています。
また、私たちの仕事は、将来の自律駆動システムの安全性を改善できる新しい研究の方向性も生み出しています。
当社のプロジェクトWebサイト：https：//eddyhkchiu.github.io/v2vllm.github.io/。

要約(オリジナル)

Current autonomous driving vehicles rely mainly on their individual sensors to understand surrounding scenes and plan for future trajectories, which can be unreliable when the sensors are malfunctioning or occluded. To address this problem, cooperative perception methods via vehicle-to-vehicle (V2V) communication have been proposed, but they have tended to focus on detection and tracking. How those approaches contribute to overall cooperative planning performance is still under-explored. Inspired by recent progress using Large Language Models (LLMs) to build autonomous driving systems, we propose a novel problem setting that integrates an LLM into cooperative autonomous driving, with the proposed Vehicle-to-Vehicle Question-Answering (V2V-QA) dataset and benchmark. We also propose our baseline method Vehicle-to-Vehicle Large Language Model (V2V-LLM), which uses an LLM to fuse perception information from multiple connected autonomous vehicles (CAVs) and answer driving-related questions: grounding, notable object identification, and planning. Experimental results show that our proposed V2V-LLM can be a promising unified model architecture for performing various tasks in cooperative autonomous driving, and outperforms other baseline methods that use different fusion approaches. Our work also creates a new research direction that can improve the safety of future autonomous driving systems. Our project website: https://eddyhkchiu.github.io/v2vllm.github.io/ .

arxiv情報

著者 Hsu-kuang Chiu,Ryo Hachiuma,Chien-Yi Wang,Stephen F. Smith,Yu-Chiang Frank Wang,Min-Hung Chen
発行日 2025-02-14 08:05:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models はコメントを受け付けていません

Dream to Drive: Model-Based Vehicle Control Using Analytic World Models

投稿日: 2025年2月17日 作成者: jarxiv

要約

微分可能なシミュレーターは、最近、自動運転車コントローラーをトレーニングするための大きな可能性を示しています。
それらを通過することができるため、それらはエンドツーエンドのトレーニングループに配置することができ、既知のダイナミクスがポリシーを学習するための有用な事前に変わり、環境の典型的なブラックボックスの仮定を削除します。
これまでのところ、これらのシステムはポリシーのトレーニングにのみ使用されてきました。
しかし、これは彼らが提供できるものの観点からの物語の終わりではありません。
ここでは、初めて、それらを使用して世界モデルを訓練します。
具体的には、次の状態予測因子、最適なプランナー、および最適な逆状態を学習できる3つの新しいタスクセットアップを提示します。
現在のアクションに関して次のシミュレータ状態の勾配を必要とする分析ポリシー勾配（APG）とは異なり、提案されたセットアップは、現在の状態に関して次の状態の勾配に依存しています。
このアプローチを分析ワールドモデル（AWM）と呼び、WayMaxシミュレーターでの計画に使用する方法など、アプリケーションを紹介します。
このようなシミュレーターで可能なことの限界を押し上げることとは別に、大規模なWaymoオープンモーションデータセットのパフォーマンスを増加させる改善されたトレーニングレシピを提供します。

要約(オリジナル)

Differentiable simulators have recently shown great promise for training autonomous vehicle controllers. Being able to backpropagate through them, they can be placed into an end-to-end training loop where their known dynamics turn into useful priors for the policy to learn, removing the typical black box assumption of the environment. So far, these systems have only been used to train policies. However, this is not the end of the story in terms of what they can offer. Here, for the first time, we use them to train world models. Specifically, we present three new task setups that allow us to learn next state predictors, optimal planners, and optimal inverse states. Unlike analytic policy gradients (APG), which requires the gradient of the next simulator state with respect to the current actions, our proposed setups rely on the gradient of the next state with respect to the current state. We call this approach Analytic World Models (AWMs) and showcase its applications, including how to use it for planning in the Waymax simulator. Apart from pushing the limits of what is possible with such simulators, we offer an improved training recipe that increases performance on the large-scale Waymo Open Motion dataset by up to 12% compared to baselines at essentially no additional cost.

arxiv情報

著者 Asen Nachkov,Danda Pani Paudel,Jan-Nico Zaech,Davide Scaramuzza,Luc Van Gool
発行日 2025-02-14 08:46:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Dream to Drive: Model-Based Vehicle Control Using Analytic World Models はコメントを受け付けていません

Autoware.Flex: Human-Instructed Dynamically Reconfigurable Autonomous Driving Systems

投稿日: 2025年2月17日 作成者: jarxiv

要約

既存の自律運転システム（ADS）は独立して運転決定を下しますが、2つの大きな制限に直面しています。
第一に、複雑なシナリオでは、広告は環境を誤って解釈し、不適切な運転決定を下す可能性があります。
第二に、これらのシステムは、意思決定プロセスに人間の運転の好みを組み込むことができません。
このペーパーでは、AutoWare $。$ FLEXを提案します。これは、人間の入力を運転プロセスに組み込み、ユーザーがより適切な決定を下し、好みが満たされるように広告を導くことができるようにします。
これを達成する必要があります：（1）自然言語で表現された人間の指示を広告が理解できる形式に翻訳し、（2）これらの指示が広告の意思決定フレームワーク内で安全かつ一貫して実行されることを保証する
。
最初の課題では、ADS専門知識ベースで支援された大規模な言語モデル（LLM）を採用して、ドメイン固有の翻訳を強化します。
2番目の課題では、人間の指示が安全で一貫した運転行動をもたらすように、検証メカニズムを設計します。
シミュレータと実際の自律型車両の両方で実施さ​​れた実験は、AutoWare $。$ Flexが人間の指示を効果的に解釈し、安全に実行することを示しています。

要約(オリジナル)

Existing Autonomous Driving Systems (ADS) independently make driving decisions, but they face two significant limitations. First, in complex scenarios, ADS may misinterpret the environment and make inappropriate driving decisions. Second, these systems are unable to incorporate human driving preferences in their decision-making processes. This paper proposes Autoware$.$Flex, a novel ADS system that incorporates human input into the driving process, allowing users to guide the ADS in making more appropriate decisions and ensuring their preferences are satisfied. Achieving this needs to address two key challenges: (1) translating human instructions, expressed in natural language, into a format the ADS can understand, and (2) ensuring these instructions are executed safely and consistently within the ADS’ s decision-making framework. For the first challenge, we employ a Large Language Model (LLM) assisted by an ADS-specialized knowledge base to enhance domain-specific translation. For the second challenge, we design a validation mechanism to ensure that human instructions result in safe and consistent driving behavior. Experiments conducted on both simulators and a real-world autonomous vehicle demonstrate that Autoware$.$Flex effectively interprets human instructions and executes them safely.

arxiv情報

著者 Ziwei Song,Mingsong Lv,Tianchi Ren,Chun Jason Xue,Jen-Ming Wu,Nan Guan
発行日 2025-02-14 09:12:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.RO | Autoware.Flex: Human-Instructed Dynamically Reconfigurable Autonomous Driving Systems はコメントを受け付けていません

Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation

投稿日: 2025年2月17日 作成者: jarxiv

要約

最近、Vision-Language-active Models（VLA）には高度なロボット模倣学習がありますが、高いデータ収集コストと限られたデモンストレーションは、特に長老のタスクで、分散型シナリオで一般化と現在の模倣学習方法の闘争を妨げています。
重要な課題は、模倣学習の複合エラーを緩和する方法です。
これらの課題に対処するために、拡散軌跡誘導ポリシー（DTP）フレームワークを提案します。これは、拡散モデルを介して2D軌道を生成し、長期式タスクのポリシー学習をガイドします。
タスク関連の軌跡を活用することにより、DTPはエラーの蓄積を減らすための軌跡レベルのガイダンスを提供します。
私たちの2段階のアプローチは、最初に拡散ベースの軌跡を作成するための生成的ビジョン言語モデルをトレーニングし、それらを使用して模倣ポリシーを改良します。
Calvinベンチマークでの実験は、DTPが外部の事前トレーニングなしでゼロから始まる最先端のベースラインを25％上回ることを示しています。
さらに、DTPは現実世界のロボットのパフォーマンスを大幅に改善します。

要約(オリジナル)

Recently, Vision-Language-Action models (VLA) have advanced robot imitation learning, but high data collection costs and limited demonstrations hinder generalization and current imitation learning methods struggle in out-of-distribution scenarios, especially for long-horizon tasks. A key challenge is how to mitigate compounding errors in imitation learning, which lead to cascading failures over extended trajectories. To address these challenges, we propose the Diffusion Trajectory-guided Policy (DTP) framework, which generates 2D trajectories through a diffusion model to guide policy learning for long-horizon tasks. By leveraging task-relevant trajectories, DTP provides trajectory-level guidance to reduce error accumulation. Our two-stage approach first trains a generative vision-language model to create diffusion-based trajectories, then refines the imitation policy using them. Experiments on the CALVIN benchmark show that DTP outperforms state-of-the-art baselines by 25% in success rate, starting from scratch without external pretraining. Moreover, DTP significantly improves real-world robot performance.

arxiv情報

著者 Shichao Fan,Quantao Yang,Yajie Liu,Kun Wu,Zhengping Che,Qingjie Liu,Min Wan
発行日 2025-02-14 09:38:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation はコメントを受け付けていません

Occupancy-SLAM: An Efficient and Robust Algorithm for Simultaneously Optimizing Robot Poses and Occupancy Map

投稿日: 2025年2月17日 作成者: jarxiv

要約

ポーズと特徴の共同最適化は、特徴ベースのスラム問題でより正確な結果をもたらすことが広範囲に研究され、実証されています。
ただし、共同でポーズと非機能ベースのマップの最適化に関する研究は限られたままです。
占有マップは、スペースを障害物、自由エリア、未知の地域に効果的に分類し、さまざまなタスクの空間情報をロボットに提供するため、広く使用されていない環境表現です。
この論文では、パラメーター化されたマップ表現を介してロボット軌道と占有マップの共同最適化を可能にする新しい最適化ベースのスラム法である占有スラムを提案します。
重要なノベルティは、ロボットのポーズと占有値の両方を異なるセル頂点で同時に最適化することにあります。これは、マップを推定する前にロボットポーズを最初に最適化する必要がある既存の方法からの大幅な逸脱です。
シミュレーションと実用的な2Dレーザーデータセットを使用した評価は、提案されたアプローチが、同等の計算時間のある最先端の技術よりも、より正確なロボット軌道と占有マップを堅牢に取得できることを示しています。
3Dケースの予備的な結果は、実際の3Dアプリケーションで提案された方法の可能性をさらに確認し、既存の方法よりも正確な結果を達成します。

要約(オリジナル)

Joint optimization of poses and features has been extensively studied and demonstrated to yield more accurate results in feature-based SLAM problems. However, research on jointly optimizing poses and non-feature-based maps remains limited. Occupancy maps are widely used non-feature-based environment representations because they effectively classify spaces into obstacles, free areas, and unknown regions, providing robots with spatial information for various tasks. In this paper, we propose Occupancy-SLAM, a novel optimization-based SLAM method that enables the joint optimization of robot trajectory and the occupancy map through a parameterized map representation. The key novelty lies in optimizing both robot poses and occupancy values at different cell vertices simultaneously, a significant departure from existing methods where the robot poses need to be optimized first before the map can be estimated. Evaluations using simulations and practical 2D laser datasets demonstrate that the proposed approach can robustly obtain more accurate robot trajectories and occupancy maps than state-of-the-art techniques with comparable computational time. Preliminary results in the 3D case further confirm the potential of the proposed method in practical 3D applications, achieving more accurate results than existing methods.

arxiv情報

著者 Yingyu Wang,Liang Zhao,Shoudong Huang
発行日 2025-02-14 10:14:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Occupancy-SLAM: An Efficient and Robust Algorithm for Simultaneously Optimizing Robot Poses and Occupancy Map はコメントを受け付けていません

A Generalized Modeling Approach to Liquid-driven Ballooning Membranes

投稿日: 2025年2月17日 作成者: jarxiv

要約

ソフトロボット工学は、適応可能なロボットシステムに柔軟な材料の使用を進めています。
膜作動型のソフトロボットは、加圧された拡張可能な膜を使用して安定した大きな変形を達成することにより、従来のソフトロボットの制限に対処しますが、複雑な変形ダイナミクスのためにコントロールと状態の推定が依然として困難です。
この論文では、平面変形の下でモデルの形状と伸びに楕円体近似を採用して、液体駆動型のバルーン膜の新しいモデリングアプローチを提示します。
圧力データと制御された液体量からの固有のフィードバックのみに依存すると、このアプローチにより、正確な膜状態の推定が可能になります。
実験的検証によるバルーン膜ベースのアクチュエーターのための提案されたモデルの有効性を実証し、$ RMSE_ {H_2} = 0.80 \; $ mmのインデント深度誤差を取得します。
無意味なアクチュエータの高さ範囲の$。
力の推定では、誤差範囲は$ rmse_ {f} = 0.15 \; $ nであると取得されます。

要約(オリジナル)

Soft robotics is advancing the use of flexible materials for adaptable robotic systems. Membrane-actuated soft robots address the limitations of traditional soft robots by using pressurized, extensible membranes to achieve stable, large deformations, yet control and state estimation remain challenging due to their complex deformation dynamics. This paper presents a novel modeling approach for liquid-driven ballooning membranes, employing an ellipsoid approximation to model shape and stretch under planar deformation. Relying solely on intrinsic feedback from pressure data and controlled liquid volume, this approach enables accurate membrane state estimation. We demonstrate the effectiveness of the proposed model for ballooning membrane-based actuators by experimental validation, obtaining the indentation depth error of $RMSE_{h_2}=0.80\;$mm, which is $23\%$ of the indentation range and $6.67\%$ of the unindented actuator height range. For the force estimation, the error range is obtained to be $RMSE_{F}=0.15\;$N which is $10\%$ of the measured force range.

arxiv情報

著者 Mirroyal Ismayilov,Jeref Merlin,Christos Bergeles,Lukas Lindenroth
発行日 2025-02-14 10:18:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | A Generalized Modeling Approach to Liquid-driven Ballooning Membranes はコメントを受け付けていません

Adaptive Bi-Level Multi-Robot Task Allocation and Learning under Uncertainty with Temporal Logic Constraints

投稿日: 2025年2月17日 作成者: jarxiv

要約

この作業は、未知のロボット遷移モデルの下でのマルチロボット調整の問題に対処し、時間ウィンドウの時間的論理によって指定されたタスクがユーザー定義の確率のしきい値に満たされることを保証します。
（i）ロボットの推定タスク完了確率と予想される報酬に基づいてタスクが割り当てられる高レベルのタスク割り当て、および（ii）ロボットの低レベル分散ポリシー学習と実行を統合するBIレベルのフレームワークを提示します。
割り当てられたタスクを満たしながら、補助報酬を独立して最適化します。
ロボットダイナミクスの不確実性を処理するために、当社のアプローチは、リアルタイムタスク実行データを活用して、予想されるタスク完了確率と報酬を繰り返し改善し、明示的なロボット遷移モデルなしで適応型タスク割り当てを可能にします。
提案されたアルゴリズムを理論的に検証し、タスクの割り当てが望ましい確率のしきい値を高い信頼性で満たしていることを示しています。
最後に、包括的なシミュレーションを通じてフレームワークの有効性を実証します。

要約(オリジナル)

This work addresses the problem of multi-robot coordination under unknown robot transition models, ensuring that tasks specified by Time Window Temporal Logic are satisfied with user-defined probability thresholds. We present a bi-level framework that integrates (i) high-level task allocation, where tasks are assigned based on the robots’ estimated task completion probabilities and expected rewards, and (ii) low-level distributed policy learning and execution, where robots independently optimize auxiliary rewards while fulfilling their assigned tasks. To handle uncertainty in robot dynamics, our approach leverages real-time task execution data to iteratively refine expected task completion probabilities and rewards, enabling adaptive task allocation without explicit robot transition models. We theoretically validate the proposed algorithm, demonstrating that the task assignments meet the desired probability thresholds with high confidence. Finally, we demonstrate the effectiveness of our framework through comprehensive simulations.

arxiv情報

著者 Xiaoshan Lin,Roberto Tron
発行日 2025-02-14 10:39:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.FL, cs.RO | Adaptive Bi-Level Multi-Robot Task Allocation and Learning under Uncertainty with Temporal Logic Constraints はコメントを受け付けていません

Coordinated control of multiple autonomous surface vehicles: challenges and advances – a systematic review

投稿日: 2025年2月17日 作成者: jarxiv

要約

海上環境でのさまざまな活動における自律表面容器（ASV）の使用と実装の増加は、その制御に関する開発と研究の増加を促進すると予想されます。
特に、複数のASVの調整は、ロボット工学、制御理論、通信システム、および海洋科学の交差点で学際的な研究努力を必要とする新しい課題と機会を提示します。
これらの船舶を集合的に使用できる多種多様なミッションまたは目的により、さまざまな制御技術のアプリケーションと組み合わせが可能になります。
これには、以前に実行不可能だと思われる側面を考慮するための機械学習の調査が含まれます。
このレビューは、以前のレビューによって残された重要なギャップに対処しながら、調整されたASVコントロールの包括的な調査を提供します。
以前の作品とは異なり、体系的なアプローチを採用して、記事の選択における完全性を確保し、バイアスを最小限に抑えます。
カスタマイズされた制御戦略と、自律性の向上のための機械学習技術の統合に焦点を当てて、サブ作用ASVの複雑な世界を掘り下げます。
最近の進歩を統合し、新たな傾向を特定することにより、この分野を前進させる洞察を提供し、最先端の技術と将来の研究努力のガイダンスの包括的な概要の両方を提供します。

要約(オリジナル)

The increasing use and implementation of Autonomous Surface Vessels (ASVs) for various activities in maritime environments is expected to drive a rise in developments and research on their control. Particularly, the coordination of multiple ASVs presents novel challenges and opportunities, requiring interdisciplinary research efforts at the intersection of robotics, control theory, communication systems, and marine sciences. The wide variety of missions or objectives for which these vessels can be collectively used allows for the application and combination of different control techniques. This includes the exploration of machine learning to consider aspects previously deemed infeasible. This review provides a comprehensive exploration of coordinated ASV control while addressing critical gaps left by previous reviews. Unlike previous works, we adopt a systematic approach to ensure integrity and minimize bias in article selection. We delve into the complex world of sub-actuated ASVs with a focus on customized control strategies and the integration of machine learning techniques for increased autonomy. By synthesizing recent advances and identifying emerging trends, we offer insights that drive this field forward, providing both a comprehensive overview of state-of-the-art techniques and guidance for future research efforts.

arxiv情報

著者 Manuel Gantiva Osorioa,Carmelina Ierardia,Isabel Jurado Floresa,Mario Pereira Martína,Pablo Millán Gata
発行日 2025-02-14 11:02:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Coordinated control of multiple autonomous surface vehicles: challenges and advances – a systematic review はコメントを受け付けていません

Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models

投稿日: 2025年2月17日 作成者: jarxiv

要約

人間は、抽象的な取扱説明書を解釈することにより、複雑な操作タスクを理解して実行する並外れた能力を持っています。
ただし、ロボットの場合、抽象的な命令を解釈して実行可能アクションに変換することができないため、この機能は大きな課題のままです。
このペーパーでは、Robotが高レベルのマニュアル指示に導かれた複雑なアセンブリタスクを実行できるようにする新しいフレームワークであるManual2Skillを紹介します。
私たちのアプローチは、ビジョン言語モデル（VLM）を活用して、教育画像から構造化された情報を抽出し、この情報を使用して階層アセンブリグラフを構築します。
これらのグラフは、部品、サブアセンブリ、およびそれらの間の関係を表しています。
タスクの実行を容易にするために、ポーズ推定モデルは、各アセンブリステップでコンポーネントの相対的な6Dポーズを予測します。
同時に、モーション計画モジュールは、実際のロボット実装のための実用的なシーケンスを生成します。
いくつかの現実世界のIKEA家具アイテムを正常に組み立てることにより、Manual2Skillの有効性を実証します。
このアプリケーションは、効率と精度の両方で長老型操作タスクを管理する能力を強調し、取扱説明書から学習の実用性を大幅に向上させます。
この作業は、人間の能力に似た方法で複雑な操作タスクを理解し、実行できるロボットシステムを進める際の一歩を踏み出します。

要約(オリジナル)

Humans possess an extraordinary ability to understand and execute complex manipulation tasks by interpreting abstract instruction manuals. For robots, however, this capability remains a substantial challenge, as they cannot interpret abstract instructions and translate them into executable actions. In this paper, we present Manual2Skill, a novel framework that enables robots to perform complex assembly tasks guided by high-level manual instructions. Our approach leverages a Vision-Language Model (VLM) to extract structured information from instructional images and then uses this information to construct hierarchical assembly graphs. These graphs represent parts, subassemblies, and the relationships between them. To facilitate task execution, a pose estimation model predicts the relative 6D poses of components at each assembly step. At the same time, a motion planning module generates actionable sequences for real-world robotic implementation. We demonstrate the effectiveness of Manual2Skill by successfully assembling several real-world IKEA furniture items. This application highlights its ability to manage long-horizon manipulation tasks with both efficiency and precision, significantly enhancing the practicality of robot learning from instruction manuals. This work marks a step forward in advancing robotic systems capable of understanding and executing complex manipulation tasks in a manner akin to human capabilities.

arxiv情報

著者 Chenrui Tie,Shengxiang Sun,Jinxuan Zhu,Yiwei Liu,Jingxiang Guo,Yue Hu,Haonan Chen,Junting Chen,Ruihai Wu,Lin Shao
発行日 2025-02-14 11:25:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models はコメントを受け付けていません

CTE-MLO: Continuous-time and Efficient Multi-LiDAR Odometry with Localizability-aware Point Cloud Sampling

投稿日: 2025年2月17日 作成者: jarxiv

要約

近年、LIDARベースのローカリゼーションとマッピング方法は、信頼できるリアルタイムのローカリゼーション機能のおかげで、大きな進歩を遂げています。
単一のLidar匂いを考慮すると、実際のシナリオでハードウェアの障害と縮退に直面することがよくありますが、Lidarベースのローカリゼーションとマッピングシステムのパフォーマンスを向上させるために、マルチライダー匂い（MLO）が研究されています。
ただし、MLOは、複数のLIDARから融合された高密度のポイント雲によって導入される高い計算の複雑さに苦しむ可能性があり、連続時間測定特性は既存のLidar匂いによって絶えず無視されます。
これにより、連続時間で効率的なMLO、すなわちCTE-MLOが開発されるようになります。これは、連続時間の視点を通じてマルチライダー測定を使用して正確でリアルタイムの推定を実現できます。
このホワイトペーパーでは、ガウスプロセスの推定は、カルマンフィルターと自然に組み合わされており、ポイントストリーム内の各ライダーポイントが、時間の瞬間を使用して対応する連続時間軌道を照会することができます。
分散型マルチライダー同期スキームは、プライマリライダーの割り当てなしで、個別のLIDARのポイントを単一のポイントクラウドに組み合わせるために考案されています。
さらに、堅牢性を犠牲にすることなくMLOのリアルタイムパフォーマンスを改善することを目的として、ローカライズ性を考慮してポイントクラウドサンプリング戦略が設計されています。
この目的のために、CTE-MLOは、カルマンフィルターフレームワーク内の同期、ローカル化可能性対応サンプリング、連続時間推定、およびボクセルマップ管理を統合します。
提案された方法の有効性は、パブリックデータセットや実際のアプリケーションなど、さまざまなシナリオを通じて実証されています。
このコードは、コミュニティに利益をもたらすためにhttps://github.com/shenhm516/cte-mloで入手できます。

要約(オリジナル)

In recent years, LiDAR-based localization and mapping methods have achieved significant progress thanks to their reliable and real-time localization capability. Considering single LiDAR odometry often faces hardware failures and degeneracy in practical scenarios, Multi-LiDAR Odometry (MLO), as an emerging technology, is studied to enhance the performance of LiDAR-based localization and mapping systems. However, MLO can suffer from high computational complexity introduced by dense point clouds that are fused from multiple LiDARs, and the continuous-time measurement characteristic is constantly neglected by existing LiDAR odometry. This motivates us to develop a Continuous-Time and Efficient MLO, namely CTE-MLO, which can achieve accurate and real-time estimation using multi-LiDAR measurements through a continuous-time perspective. In this paper, the Gaussian process estimation is naturally combined with the Kalman filter, which enables each LiDAR point in a point stream to query the corresponding continuous-time trajectory using its time instants. A decentralized multi-LiDAR synchronization scheme is also devised to combine points from separate LiDARs into a single point cloud without the primary LiDAR assignment. Moreover, with the aim of improving the real-time performance of MLO without sacrificing robustness, a point cloud sampling strategy is designed with the consideration of localizability. To this end, CTE-MLO integrates synchronization, localizability-aware sampling, continuous-time estimation, and voxel map management within a Kalman filter framework, which can achieve high accuracy and robust continuous-time estimation within only a few linear iterations. The effectiveness of the proposed method is demonstrated through various scenarios, including public datasets and real-world applications. The code is available at https://github.com/shenhm516/CTE-MLO to benefit the community.

arxiv情報

著者 Hongming Shen,Zhenyu Wu,Yulin Hui,Wei Wang,Qiyang Lyu,Tianchen Deng,Yeqing Zhu,Bailing Tian,Danwei Wang
発行日 2025-02-14 13:53:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | CTE-MLO: Continuous-time and Efficient Multi-LiDAR Odometry with Localizability-aware Point Cloud Sampling はコメントを受け付けていません