A Temporal Planning Framework for Multi-Agent Systems via LLM-Aided Knowledge Base Management

投稿日: 2025年2月27日 作成者: jarxiv

要約

このペーパーでは、Plantor（タスク指向ロボットの自然言語を計画している計画）と呼ばれる新しいフレームワークを紹介します。これは、大規模な言語モデル（LLM）をプロログベースの知識管理とマルチロボットタスクの計画と統合します。
このシステムは、ロボット指向の知識ベースの2段階の生成を採用し、再利用性と構成の推論を確保し、混合インテガー線形プログラミングを介した時間的依存性、リソースの制約、並列タスクの実行を処理する3段階の計画手順を採用しています。
最終計画は、ROS2で直接使用するために動作ツリーに変換されます。
ブロックの世界とアーチ構築シナリオ内のマルチロボットアセンブリタスクでフレームワークをテストしました。
結果は、LLMが適度な人間のフィードバックを備えた正確な知識ベースを生成できることを示していますが、Prologは正式な正しさと説明可能性を保証します。
このアプローチは、柔軟でスケーラブルで人間の理解可能な計画を必要とする高度なロボット工学タスクのLLM統合の可能性を強調しています。

要約(オリジナル)

This paper presents a novel framework, called PLANTOR (PLanning with Natural language for Task-Oriented Robots), that integrates Large Language Models (LLMs) with Prolog-based knowledge management and planning for multi-robot tasks. The system employs a two-phase generation of a robot-oriented knowledge base, ensuring reusability and compositional reasoning, as well as a three-step planning procedure that handles temporal dependencies, resource constraints, and parallel task execution via mixed-integer linear programming. The final plan is converted into a Behaviour Tree for direct use in ROS2. We tested the framework in multi-robot assembly tasks within a block world and an arch-building scenario. Results demonstrate that LLMs can produce accurate knowledge bases with modest human feedback, while Prolog guarantees formal correctness and explainability. This approach underscores the potential of LLM integration for advanced robotics tasks requiring flexible, scalable, and human-understandable planning.

arxiv情報

著者 Enrico Saccon,Ahmet Tikna,Davide De Martini,Edoardo Lamon,Luigi Palopoli,Marco Roveri
発行日 2025-02-26 13:51:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.RO | A Temporal Planning Framework for Multi-Agent Systems via LLM-Aided Knowledge Base Management はコメントを受け付けていません

Increasing the Task Flexibility of Heavy-Duty Manipulators Using Visual 6D Pose Estimation of Objects

投稿日: 2025年2月27日 作成者: jarxiv

要約

深いニューラルネットワークを使用したオブジェクトの視覚的な6Dポーズ推定の最近の進歩により、ヘビーデューティロボットアプリケーションの視力ベースの新しい制御方法が可能になりました。
この研究では、高度なマシンビジョンを使用して、ヘビーデューティ（HDLR）マニピュレーターの正確なツール配置のパイプラインを提示します。
カメラは、いわゆる目でのハンド構成で使用され、ツールのポーズと関心のあるターゲットオブジェクト（OOI）を直接推定します。
ツールとターゲット間のポーズエラーに基づいて、カメラとロボット間のモーションベースのキャリブレーションとともに、業界で一般的な従来のロボットモデリングと制御方法を使用して、正確なツールの位置を確実に実現できます。
提案された方法論は、視覚的に推定されたOOIポーズに基づいて方向と位置のアラインメントを含むのに対し、カメラからロボットへのキャリブレーションは、視覚的スラムを利用する動きに基づいて行われます。
この方法は、画像ベースのアルゴリズムを介して構造的に柔軟なHDLRマニピュレーターの剛体ベースの運動学に起因する不正確さを回避しようとしています。
OOIポーズ推定のために深いニューラルネットワークをトレーニングするために、合成データのみが利用されます。
メソッドは、5 mリーチのHDLRマニピュレーターを使用して、実際の設定で検証されます。
実験結果は、非深い軸に沿って2 mm未満の画像ベースの平均ツール配置エラーが達成され、非剛性HDLRマニピュレーターのタスクの柔軟性と自動化レベルを高める新しい方法を容易にすることを示しています。

要約(オリジナル)

Recent advances in visual 6D pose estimation of objects using deep neural networks have enabled novel ways of vision-based control for heavy-duty robotic applications. In this study, we present a pipeline for the precise tool positioning of heavy-duty, long-reach (HDLR) manipulators using advanced machine vision. A camera is utilized in the so-called eye-in-hand configuration to estimate directly the poses of a tool and a target object of interest (OOI). Based on the pose error between the tool and the target, along with motion-based calibration between the camera and the robot, precise tool positioning can be reliably achieved using conventional robotic modeling and control methods prevalent in the industry. The proposed methodology comprises orientation and position alignment based on the visually estimated OOI poses, whereas camera-to-robot calibration is conducted based on motion utilizing visual SLAM. The methods seek to avert the inaccuracies resulting from rigid-body–based kinematics of structurally flexible HDLR manipulators via image-based algorithms. To train deep neural networks for OOI pose estimation, only synthetic data are utilized. The methods are validated in a real-world setting using an HDLR manipulator with a 5 m reach. The experimental results demonstrate that an image-based average tool positioning error of less than 2 mm along the non-depth axes is achieved, which facilitates a new way to increase the task flexibility and automation level of non-rigid HDLR manipulators.

arxiv情報

著者 Petri Mäkinen,Pauli Mustalahti,Tuomo Kivelä,Jouni Mattila
発行日 2025-02-26 14:24:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Increasing the Task Flexibility of Heavy-Duty Manipulators Using Visual 6D Pose Estimation of Objects はコメントを受け付けていません

PlantPal: Leveraging Precision Agriculture Robots to Facilitate Remote Engagement in Urban Gardening

投稿日: 2025年2月27日 作成者: jarxiv

要約

都市のガーデニングは、多くの健康と環境の利点で広く認識されています。
しかし、適切な庭園の不足、毎日のスケジュールを要求し、ガーデニングの専門知識が限られているため、都市のガーデニングに従事しようとしている市民のための主要な障害があります。
以前の研究では、都市の庭師をサポートするためのスマートホームソリューションを調査していますが、これらのアプローチは現在、これらの実用的な障壁に完全に対処していません。
この論文では、PlantPalを提示します。PlantPalは、自分の場所、専門知識レベル、または時間の制約に関係なく、庭園の栽培を可能にするシステムです。
PlantPalは、ガーデンツールとマルチカメラシステムを装備した精密農業ロボット（PAR）の共有操作を可能にします。
3週間の展開（n = 18）からの洞察は、プラントパルがガーデニングタスクの日常生活への統合を促進し、自分の分野とのつながりの感覚を育み、遠隔地にもかかわらず魅力的な体験を提供したことを示しています。
私たちは、将来のロボット支援都市園芸の概念のために設計上の考慮事項を提供します。

要約(オリジナル)

Urban gardening is widely recognized for its numerous health and environmental benefits. However, the lack of suitable garden spaces, demanding daily schedules and limited gardening expertise present major roadblocks for citizens looking to engage in urban gardening. While prior research has explored smart home solutions to support urban gardeners, these approaches currently do not fully address these practical barriers. In this paper, we present PlantPal, a system that enables the cultivation of garden spaces irrespective of one’s location, expertise level, or time constraints. PlantPal enables the shared operation of a precision agriculture robot (PAR) that is equipped with garden tools and a multi-camera system. Insights from a 3-week deployment (N=18) indicate that PlantPal facilitated the integration of gardening tasks into daily routines, fostered a sense of connection with one’s field, and provided an engaging experience despite the remote setting. We contribute design considerations for future robot-assisted urban gardening concepts.

arxiv情報

著者 Albin Zeqiri,Julian Britten,Clara Schramm,Pascal Jansen,Michael Rietzler,Enrico Rukzio
発行日 2025-02-26 14:27:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.RO | PlantPal: Leveraging Precision Agriculture Robots to Facilitate Remote Engagement in Urban Gardening はコメントを受け付けていません

Dexterous Pre-grasp Manipulation for Human-like Functional Categorical Grasping: Deep Reinforcement Learning and Grasp Representations

投稿日: 2025年2月27日 作成者: jarxiv

要約

ツールや家庭用品などの多くのオブジェクトは、非常に具体的な方法で把握した場合にのみ使用できます。
ただし、多くの場合、直接的な機能的把握は不可能です。
深い補強学習を使用して、人間のような機能的握りを達成するために、器用なグリスプグリップ操作ポリシーを学習する方法を提案します。
擬人化する手を持ついくつかの既知のオブジェクトカテゴリの新規インスタンスの巧妙な前把握操作が可能な単一のポリシーを学習できるようにする密なマルチコンポーネント報酬関数を導入します。
このポリシーは、専門家のデモンストレーションなしで、純粋にゼロからの補強学習によって純粋に学習されます。
暗黙的に、複雑な形状のオブジェクトを再配置して再配向して、特定の機能的握りを達成することを学びます。
さらに、目的の把握を表すための2つの異なる方法を探ります。明示的で抽象的な制約ベースです。
私たちの方法は、両方の把握表現を使用して、既知のカテゴリの以前に見えなかったオブジェクトインスタンスを操作し、希望する把握を成功裏に操作し、達成することを一貫して学習することを示します。
トレーニングは、3時間以内に単一のGPUで完了します。

要約(オリジナル)

Many objects, such as tools and household items, can be used only if grasped in a very specific way – grasped functionally. Often, a direct functional grasp is not possible, though. We propose a method for learning a dexterous pre-grasp manipulation policy to achieve human-like functional grasps using deep reinforcement learning. We introduce a dense multi-component reward function that enables learning a single policy, capable of dexterous pre-grasp manipulation of novel instances of several known object categories with an anthropomorphic hand. The policy is learned purely by means of reinforcement learning from scratch, without any expert demonstrations. It implicitly learns to reposition and reorient objects of complex shapes to achieve given functional grasps. In addition, we explore two different ways to represent a desired grasp: explicit and more abstract, constraint-based. We show that our method consistently learns to successfully manipulate and achieve desired grasps on previously unseen object instances of known categories using both grasp representations. Training is completed on a single GPU in under three hours.

arxiv情報

著者 Dmytro Pavlichenko,Sven Behnke
発行日 2025-02-26 14:34:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Dexterous Pre-grasp Manipulation for Human-like Functional Categorical Grasping: Deep Reinforcement Learning and Grasp Representations はコメントを受け付けていません

Embodying mechano-fluidic memory in soft machines to program behaviors upon interactions

投稿日: 2025年2月27日 作成者: jarxiv

要約

ソフトマシンは、本質的なコンプライアンスのため、外部の状況への形状の適応を示します。
集中計算に依存せずに相互作用時にますます応答性の高い動作を実現するには、マシンの構造でメモリを直接具体化することが重要です。
ここでは、弾力性のあるシェルの双安定性を活用して、囲まれた空洞の流体特性を変化させ、それにより、運動する自己展望機の安定した周波数状態を切り替えます。
これらのメモリ状態を相互作用時にプログラムするために、双方向のシェルを囲む流体の回路を開発し、外部的に触れたときにねじれてキンクしていない柔らかいチューブを使用します。
私たちは、人間のユーザーに応じて動作を切り替え、壁を検出した後に方向を自律的に変えるソフトマシンに、長期および短期メモリの両方の回路を実装します。
ジオメトリと弾力性のみを活用することにより、メモリを具体化することで、中央の脳のない物理的構造が、コンピューターベースのロボットシステムに通常予約される自律的な偉業を示すことができます。

要約(オリジナル)

Soft machines display shape adaptation to external circumstances due to their intrinsic compliance. To achieve increasingly more responsive behaviors upon interactions without relying on centralized computation, embodying memory directly in the machines’ structure is crucial. Here, we harness the bistability of elastic shells to alter the fluidic properties of an enclosed cavity, thereby switching between stable frequency states of a locomoting self-oscillating machine. To program these memory states upon interactions, we develop fluidic circuits surrounding the bistable shell, with soft tubes that kink and unkink when externally touched. We implement circuits for both long-term and short-term memory in a soft machine that switches behaviors in response to a human user and that autonomously changes direction after detecting a wall. By harnessing only geometry and elasticity, embodying memory allows physical structures without a central brain to exhibit autonomous feats that are typically reserved for computer-based robotic systems.

arxiv情報

著者 Alberto Comoretto,Tanaya Mandke,Johannes T. B. Overvelde
発行日 2025-02-26 14:57:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.soft, cs.RO, physics.app-ph | Embodying mechano-fluidic memory in soft machines to program behaviors upon interactions はコメントを受け付けていません

No Minima, No Collisions: Combining Modulation and Control Barrier Function Strategies for Feasible Dynamical Collision Avoidance

投稿日: 2025年2月27日 作成者: jarxiv

要約

顕著なリアルタイムの安全性クリティカルな反応性制御技術として、制御バリア関数二次プログラム（CBF-QPS）は、コントロールアフィンシステムのために機能しますが、生成された軌跡の局所的な最小値をもたらし、その結果、目標への収束を確保することはできません。
反対に、通常、参照、およびマニホールドMOD-DSを含む動的システム（MOD-DSS）の変調は、局所的な最小値が少なく、制約されていないコントローラー出力とそのアプリケーションの違いを最適に最小限に抑えることができず、局所的な最小値を最小限に抑えて障害物の回避を達成します。
CBF-QPとMOD-DSの理論的基礎に飛び込み、その明確な起源にもかかわらず、通常のMOD-DSはCBF-QPの特殊なケースであり、参照MOD-DSのソリューションは1つの方程式を介してCBF-QPのそれに数学的に接続されていることを証明します。
CBF-QPとMOD-DS、参照MODベースのCBF-QPとオンマニフォールドMODベースのCBF-QPコントローラーの間の発表された理論的接続の上に構築され、CBF-QPとMOD-DSの強度を組み合わせて、一般的なコントロールエフィンシステムのためのローカルミニムフリーの反応性障害物を実現するために提案されています。
シミュレートされた病院環境と、完全に作用したシステム用のRidgebackを使用した実世界の実験の両方で方法を検証し、不十分なシステム用にロボットをフェッチします。
MODベースのCBF-QPSは、CBF-QPSを上回り、すべての実験で提案した最適に制約されているMOD-DSアプローチを上回ります。

要約(オリジナル)

As prominent real-time safety-critical reactive control techniques, Control Barrier Function Quadratic Programs (CBF-QPs) work for control affine systems in general but result in local minima in the generated trajectories and consequently cannot ensure convergence to the goals. Contrarily, Modulation of Dynamical Systems (Mod-DSs), including normal, reference, and on-manifold Mod-DS, achieve obstacle avoidance with few and even no local minima but have trouble optimally minimizing the difference between the constrained and the unconstrained controller outputs, and its applications are limited to fully-actuated systems. We dive into the theoretical foundations of CBF-QP and Mod-DS, proving that despite their distinct origins, normal Mod-DS is a special case of CBF-QP, and reference Mod-DS’s solutions are mathematically connected to that of the CBF-QP through one equation. Building on top of the unveiled theoretical connections between CBF-QP and Mod-DS, reference Mod-based CBF-QP and on-manifold Mod-based CBF-QP controllers are proposed to combine the strength of CBF-QP and Mod-DS approaches and realize local-minimum-free reactive obstacle avoidance for control affine systems in general. We validate our methods in both simulated hospital environments and real-world experiments using Ridgeback for fully-actuated systems and Fetch robots for underactuated systems. Mod-based CBF-QPs outperform CBF-QPs as well as the optimally constrained-enforcing Mod-DS approaches we proposed in all experiments.

arxiv情報

著者 Yifan Xue,Nadia Figueroa
発行日 2025-02-26 15:06:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | No Minima, No Collisions: Combining Modulation and Control Barrier Function Strategies for Feasible Dynamical Collision Avoidance はコメントを受け付けていません

CPG-Based Manipulation with Multi-Module Origami Robot Surface

投稿日: 2025年2月27日 作成者: jarxiv

要約

ロボットマニピュレーターは、多くの場合、さまざまなサイズと素材のオブジェクトを処理する際の課題に直面し、実際のアプリケーションでの有効性を制限します。
この問題は、メータースケールのオブジェクトを操作したり、剛性が変化したりする場合、伝統的な握りテクニックと戦略が頻繁に不十分であることが証明される場合に特に顕著です。
この文字では、中央パターンジェネレーター（CPG）ベースのモーションジェネレーターを使用して、シミュレーションベースの最適化方法を組み合わせて、マルチモジュール折り紙ロボット表面（Ori-Pixel）の最適な操作パラメーターを決定する新しい表面ベースのマルチモジュールロボット操作フレームワークを紹介します。
このアプローチにより、センチメートルからメートルのサイズの範囲のオブジェクトの操作が可能になり、剛性と形状が変化します。
最適化されたCPGパラメーターは、動的シミュレーションと、サイズ、重量、形状、および材料が異なる幅広いオブジェクトを含む一連のプロトタイプ実験の両方でテストされ、堅牢な操作機能を実証します。

要約(オリジナル)

Robotic manipulators often face challenges in handling objects of different sizes and materials, limiting their effectiveness in practical applications. This issue is particularly pronounced when manipulating meter-scale objects or those with varying stiffness, as traditional gripping techniques and strategies frequently prove inadequate. In this letter, we introduce a novel surface-based multi-module robotic manipulation framework that utilizes a Central Pattern Generator (CPG)-based motion generator, combined with a simulation-based optimization method to determine the optimal manipulation parameters for a multi-module origami robotic surface (Ori-Pixel). This approach allows for the manipulation of objects ranging from centimeters to meters in size, with varying stiffness and shape. The optimized CPG parameters are tested through both dynamic simulations and a series of prototype experiments involving a wide range of objects differing in size, weight, shape, and material, demonstrating robust manipulation capabilities.

arxiv情報

著者 Yuhao Jiang,Serge El Asmar,Ziqiao Wang,Serhat Demirtas,Jamie Paik
発行日 2025-02-26 15:21:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | CPG-Based Manipulation with Multi-Module Origami Robot Surface はコメントを受け付けていません

DEFT: Differentiable Branched Discrete Elastic Rods for Modeling Furcated DLOs in Real-Time

投稿日: 2025年2月27日 作成者: jarxiv

要約

自律ワイヤーハーネスアセンブリには、高精度と信頼性で複雑な分岐ケーブルを操作するためにロボットが必要です。
このプロセスを自動化する上での重要な課題は、これらの柔軟な構造と分岐構造が操作中にどのように振る舞うかを予測することです。
正確な予測がなければ、ロボットが組み立て操作を確実に計画または実行することは困難です。
既存の研究により、単一スレッドの変形可能な線形オブジェクト（DLOS）のモデリングが進歩しましたが、これらのアプローチを分岐した変形可能な線形オブジェクト（BDLOS）に拡張することは、基本的な課題を提示します。
BDLOSのジャンクションポイントは、複数のシングルドロモデルを接続するだけでは適切にキャプチャできない複雑な力の相互作用とひずみ伝播パターンを作成します。
これらの課題に対処するために、このペーパーでは、差別化可能な物理学ベースのモデルと学習フレームワークを組み合わせた新しいフレームワークである縁石のDLOSをリアルタイム（DEFT）でモデル化するための差別化可能な離散分岐弾性ロッドを提示します。
BDLO操作。
包括的な一連の実世界の実験は、最先端の代替案と比較した精度、計算速度、および一般化可能性の観点からDeftの有効性を示しています。
プロジェクトページ：https：//roahmlab.github.io/deft/。

要約(オリジナル)

Autonomous wire harness assembly requires robots to manipulate complex branched cables with high precision and reliability. A key challenge in automating this process is predicting how these flexible and branched structures behave under manipulation. Without accurate predictions, it is difficult for robots to reliably plan or execute assembly operations. While existing research has made progress in modeling single-threaded Deformable Linear Objects (DLOs), extending these approaches to Branched Deformable Linear Objects (BDLOs) presents fundamental challenges. The junction points in BDLOs create complex force interactions and strain propagation patterns that cannot be adequately captured by simply connecting multiple single-DLO models. To address these challenges, this paper presents Differentiable discrete branched Elastic rods for modeling Furcated DLOs in real-Time (DEFT), a novel framework that combines a differentiable physics-based model with a learning framework to: 1) accurately model BDLO dynamics, including dynamic propagation at junction points and grasping in the middle of a BDLO, 2) achieve efficient computation for real-time inference, and 3) enable planning to demonstrate dexterous BDLO manipulation. A comprehensive series of real-world experiments demonstrates DEFT’s efficacy in terms of accuracy, computational speed, and generalizability compared to state-of-the-art alternatives. Project page:https://roahmlab.github.io/DEFT/.

arxiv情報

著者 Yizhou Chen,Xiaoyue Wu,Yeheng Zong,Anran Li,Yuzhen Chen,Julie Wu,Bohao Zhang,Ram Vasudevan
発行日 2025-02-26 15:28:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.GR, cs.RO | DEFT: Differentiable Branched Discrete Elastic Rods for Modeling Furcated DLOs in Real-Time はコメントを受け付けていません

Leg Exoskeleton Odometry using a Limited FOV Depth Sensor

投稿日: 2025年2月27日 作成者: jarxiv

要約

脚の外骨格が実際の環境で効果的に動作するためには、周囲の地形を知覚し、理解できる必要があります。
ただし、他の脚のロボットとは異なり、外骨格は、人間のユーザーの存在により、深度センサーをマウントできる場所に対する特定の制約に直面しています。
これらの制約は、限られた視野（FOV）とセンサーの動きの大きさにつながり、臭気測定が特に困難になります。
これに対処するために、これらの制限にもかかわらず、外骨格からの固有受容データを深さカメラからポイントクラウドとポイントクラウドを統合して正確な標高マップを生成する新しい匂い測定アルゴリズムを提案します。
私たちの方法は、拡張されたKalmanフィルター（EKF）に基づいて運動学と慣性測定を融合し、カスタマイズされた反復ポイント（ICP）アルゴリズムを組み込んで、標高マップに新しいポイントクラウドを登録します。
脚の外骨格による実験的検証は、私たちのアプローチがドリフトを減らし、純粋に固有受容ベースラインと比較して標高マップの品質を向上させることを示しています。

要約(オリジナル)

For leg exoskeletons to operate effectively in real-world environments, they must be able to perceive and understand the terrain around them. However, unlike other legged robots, exoskeletons face specific constraints on where depth sensors can be mounted due to the presence of a human user. These constraints lead to a limited Field Of View (FOV) and greater sensor motion, making odometry particularly challenging. To address this, we propose a novel odometry algorithm that integrates proprioceptive data from the exoskeleton with point clouds from a depth camera to produce accurate elevation maps despite these limitations. Our method builds on an extended Kalman filter (EKF) to fuse kinematic and inertial measurements, while incorporating a tailored iterative closest point (ICP) algorithm to register new point clouds with the elevation map. Experimental validation with a leg exoskeleton demonstrates that our approach reduces drift and enhances the quality of elevation maps compared to a purely proprioceptive baseline, while also outperforming a more traditional point cloud map-based variant.

arxiv情報

著者 Fabio Elnecave Xavier,Matis Viozelange,Guillaume Burger,Marine Pétriaux,Jean-Emmanuel Deschaud,François Goulette
発行日 2025-02-26 15:46:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Leg Exoskeleton Odometry using a Limited FOV Depth Sensor はコメントを受け付けていません

BEV-LIO(LC): BEV Image Assisted LiDAR-Inertial Odometry with Loop Closure

投稿日: 2025年2月27日 作成者: jarxiv

要約

この作業では、LIDARデータの画像表現を組み合わせた新しいLidar-inertial odometry（LIO）フレームワークであるBev-lio（LC）を紹介します。LIDARデータの画像表現とジオメトリベースのポイントクラウド登録とBEV画像機能を介してループクロージャー（LC）を組み込みます。
ポイント密度を正規化することにより、Lidar PointクラウドをBEV画像に投影し、それにより効率的な機能抽出とマッチングを可能にします。
軽量の畳み込みニューラルネットワーク（CNN）ベースの特徴抽出器を使用して、BEV画像から独特のローカルおよびグローバルな記述子を抽出します。
ローカル記述子は、BEV画像を再注射エラー構築のための高速キーポイントと一致させるために使用されますが、グローバルな記述子はループ閉鎖の検出を促進します。
その後、繰り返された拡張カルマンフィルター（IEKF）内のポイントツープレーン登録とreprojectionエラーの最小化が統合されます。
バックエンドでは、グローバル記述子を使用して、正確なループ閉鎖検出のためにKDトリーインデックス付きキーフレームデータベースを作成します。
ループの閉鎖が検出されると、ランダムサンプルコンセンサス（RANSAC）は、BEV画像マッチングからの粗い変換を計算します。
洗練された変換は、その後、odoMetry因子とともに因子グラフに組み込まれ、局在化のグローバルな一貫性を改善します。
さまざまなライダータイプのさまざまなシナリオで行われた広範な実験は、Bev-lio（LC）が最先端の方法を上回り、競争力のあるローカリゼーションの精度を達成することを示しています。
私たちのコード、ビデオ、補足資料は、https：//github.com/hxca1/bev-lio-lcにあります。

要約(オリジナル)

This work introduces BEV-LIO(LC), a novel LiDAR-Inertial Odometry (LIO) framework that combines Bird’s Eye View (BEV) image representations of LiDAR data with geometry-based point cloud registration and incorporates loop closure (LC) through BEV image features. By normalizing point density, we project LiDAR point clouds into BEV images, thereby enabling efficient feature extraction and matching. A lightweight convolutional neural network (CNN) based feature extractor is employed to extract distinctive local and global descriptors from the BEV images. Local descriptors are used to match BEV images with FAST keypoints for reprojection error construction, while global descriptors facilitate loop closure detection. Reprojection error minimization is then integrated with point-to-plane registration within an iterated Extended Kalman Filter (iEKF). In the back-end, global descriptors are used to create a KD-tree-indexed keyframe database for accurate loop closure detection. When a loop closure is detected, Random Sample Consensus (RANSAC) computes a coarse transform from BEV image matching, which serves as the initial estimate for Iterative Closest Point (ICP). The refined transform is subsequently incorporated into a factor graph along with odometry factors, improving the global consistency of localization. Extensive experiments conducted in various scenarios with different LiDAR types demonstrate that BEV-LIO(LC) outperforms state-of-the-art methods, achieving competitive localization accuracy. Our code, video and supplementary materials can be found at https://github.com/HxCa1/BEV-LIO-LC.

arxiv情報

著者 Haoxin Cai,Shenghai Yuan,Xinyi Li,Junfeng Guo,Jianqi Liu
発行日 2025-02-26 15:51:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | BEV-LIO(LC): BEV Image Assisted LiDAR-Inertial Odometry with Loop Closure はコメントを受け付けていません