Neuromorphic Attitude Estimation and Control

投稿日: 2025年3月24日 作成者: jarxiv

要約

小さなドローンの現実世界の適用は、ほとんどがエネルギーの制限によって妨げられています。
神経型コンピューティングは、自律飛行に非常にエネルギー効率の高いAIを約束しますが、実際のロボットで訓練して展開することは依然として困難です。
神経モモルフィックコンピューティングの最大の利点を享受するには、低レベルの姿勢制御から高レベルのナビゲーションまで、単一の神経形態チップですべての自律機能をエンドツーエンドで実行する必要があります。
この研究では、スパイクニューラルネットワーク（SNN）を使用して、ドローンの生の感覚入力をモーターコマンドに直接マッピングするための最初の神経形態制御システムを提示します。
この方法は、小さなcrazyflieにSNNを展開し、四輪車の低レベルの姿勢の推定と制御に適用します。
モジュラーSNNを提案し、個別にトレーニングし、推定と制御サブネットワークをマージします。
SNNは、感覚運動ペアのフライトデータセットを使用して、模倣学習でトレーニングされています。
トレーニング後、ネットワークはCrazyFlieに展開され、500Hzのセンサー入力からコントロールコマンドを発行します。
さらに、トレーニング手順では、追加の励起でコントローラーを飛ばし、SNNの予測機能を強化するためにターゲットデータをタイムシフトすることにより、トレーニングデータを強化しました。
実際のドローンでは、認識からコントロールへのSNNは、通常のフライトスタックの2.7度と比較して、平均誤差が3.0度の姿勢コマンドを追跡します。
また、平均追跡エラーを減らし、振動を減らすための提案された学習修正の利点を示します。
私たちの仕事は、神経形態のエンドツーエンド制御を実行する可能性を示しており、高度なエネルギー効率が高く、低遅延の神経形成オートパイロットの基礎を築きます。

要約(オリジナル)

The real-world application of small drones is mostly hampered by energy limitations. Neuromorphic computing promises extremely energy-efficient AI for autonomous flight but is still challenging to train and deploy on real robots. To reap the maximal benefits from neuromorphic computing, it is necessary to perform all autonomy functions end-to-end on a single neuromorphic chip, from low-level attitude control to high-level navigation. This research presents the first neuromorphic control system using a spiking neural network (SNN) to effectively map a drone’s raw sensory input directly to motor commands. We apply this method to low-level attitude estimation and control for a quadrotor, deploying the SNN on a tiny Crazyflie. We propose a modular SNN, separately training and then merging estimation and control sub-networks. The SNN is trained with imitation learning, using a flight dataset of sensory-motor pairs. Post-training, the network is deployed on the Crazyflie, issuing control commands from sensor inputs at 500Hz. Furthermore, for the training procedure we augmented training data by flying a controller with additional excitation and time-shifting the target data to enhance the predictive capabilities of the SNN. On the real drone, the perception-to-control SNN tracks attitude commands with an average error of 3.0 degrees, compared to 2.7 degrees for the regular flight stack. We also show the benefits of the proposed learning modifications for reducing the average tracking error and reducing oscillations. Our work shows the feasibility of performing neuromorphic end-to-end control, laying the basis for highly energy-efficient and low-latency neuromorphic autopilots.

arxiv情報

著者 Stein Stroobants,Christophe de Wagter,Guido C. H. E. De Croon
発行日 2025-03-21 07:57:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NE, cs.RO | Neuromorphic Attitude Estimation and Control はコメントを受け付けていません

A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees

投稿日: 2025年3月24日 作成者: jarxiv

要約

ロボットシステムは、予期しない障害、センサーエラー、または環境の変化により、しばしば実行障害に直面しています。
従来の故障回復方法は、事前定義された戦略や人間の介入に依存しており、それらをより順応性を低下させます。
このペーパーでは、リアルタイムの障害処理を可能にするために、Vision-Language Models（VLMS）、リアクティブプランナー、および動作ツリー（BTS）を組み合わせた統一された障害回復フレームワークを紹介します。
私たちのアプローチには、実行前の潜在的な障害をチェックする解実行前の検証、および既存のBT条件を検証し、前提条件の欠落を追加し、必要に応じて新しいスキルを生成することにより、実行中の障害を検出および修正する反応性障害処理が含まれます。
このフレームワークは、構造化された環境認識のためのシーングラフと、継続的な監視のために実行履歴を使用し、コンテキスト対応および適応障害処理を可能にします。
AI2-THORシミュレーターだけでなく、PEG挿入、オブジェクトソート、引き出しの配置などのタスクに関するABBユミロボットを使用した実際の実験を通じて、フレームワークを評価します。
事前解釈と反応的方法を個別に使用することと比較して、私たちのアプローチは、より高いタスクの成功率とより大きな適応性を達成します。
アブレーション研究は、VLMベースの推論、構造化されたシーン表現、およびロボット工学の効果的な障害回復のための実行履歴追跡の重要性を強調しています。

要約(オリジナル)

Robotic systems often face execution failures due to unexpected obstacles, sensor errors, or environmental changes. Traditional failure recovery methods rely on predefined strategies or human intervention, making them less adaptable. This paper presents a unified failure recovery framework that combines Vision-Language Models (VLMs), a reactive planner, and Behavior Trees (BTs) to enable real-time failure handling. Our approach includes pre-execution verification, which checks for potential failures before execution, and reactive failure handling, which detects and corrects failures during execution by verifying existing BT conditions, adding missing preconditions and, when necessary, generating new skills. The framework uses a scene graph for structured environmental perception and an execution history for continuous monitoring, enabling context-aware and adaptive failure handling. We evaluate our framework through real-world experiments with an ABB YuMi robot on tasks like peg insertion, object sorting, and drawer placement, as well as in AI2-THOR simulator. Compared to using pre-execution and reactive methods separately, our approach achieves higher task success rates and greater adaptability. Ablation studies highlight the importance of VLM-based reasoning, structured scene representation, and execution history tracking for effective failure recovery in robotics.

arxiv情報

著者 Faseeh Ahmad,Hashim Ismail,Jonathan Styrud,Maj Stenmark,Volker Krueger
発行日 2025-03-21 08:10:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees はコメントを受け付けていません

Rude Humans and Vengeful Robots: Examining Human Perceptions of Robot Retaliatory Intentions in Professional Settings

投稿日: 2025年3月24日 作成者: jarxiv

要約

人間とロボットは、個人的および専門的な環境でますます働いています。
職場の環境では、人間とロボットが同僚として協力して、社会的期待またはその違反につながる可能性があります。
現存する研究は、主に専門的な環境ではなく個人的な社会的相互作用と期待を理解しようとしてきました。これらの研究はどれも、社会的期待の違反から生じる否定的な結果を調査していません。
このペーパーでは、ユニークな一人称パースペクティブビデオを使用して、共同職場の設定に参加者を没頭させる2×3オンライン実験の結果を報告します。
結果は微妙であり、ロボットは人間の行動にもかかわらず社会的期待に従って行動することが期待されているが、人間の無礼に直面してより大きな人であると認識されるロボットには利点があることを明らかにしています。
ソーシャルロボットの設計に関するこれらの調査結果のインポートについて議論する理論的および実用的な意味が提供されています。

要約(オリジナル)

Humans and robots are increasingly working in personal and professional settings. In workplace settings, humans and robots may work together as colleagues, potentially leading to social expectations, or violation thereof. Extant research has primarily sought to understand social interactions and expectations in personal rather than professional settings, and none of these studies have examined negative outcomes arising from violations of social expectations. This paper reports the results of a 2×3 online experiment that used a unique first-person perspective video to immerse participants in a collaborative workplace setting. The results are nuanced and reveal that while robots are expected to act in accordance with social expectations despite human behavior, there are benefits for robots perceived as being the bigger person in the face of human rudeness. Theoretical and practical implications are provided which discuss the import of these findings for the design of social robots.

arxiv情報

著者 Kate Letheren,Nicole Robinson
発行日 2025-03-21 08:12:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.RO | Rude Humans and Vengeful Robots: Examining Human Perceptions of Robot Retaliatory Intentions in Professional Settings はコメントを受け付けていません

Efficient Training of Generalizable Visuomotor Policies via Control-Aware Augmentation

投稿日: 2025年3月24日 作成者: jarxiv

要約

一般化の改善は、具体化されたAIの重要な課題の1つです。この場合、多様なシナリオ全体で大規模なデータセットを取得するのに費用がかかります。
収穫や反転などの従来の弱い増強は、新しい環境でのモデルのパフォーマンスを改善するには不十分です。
既存のデータ増強方法は、多くの場合、画像のタスク関連情報を破壊し、パフォーマンスを低下させる可能性があります。
これらの課題を克服するために、Eagleを紹介します。これは、（1）自己監視関連マスクを通じて特定された制御関連の領域のみを適用することにより、既存の方法を改善することにより、既存の方法を改善する一般化可能な視覚運動ポリシーの効率的なトレーニングフレームワークであり、（2）、学習環境に浸透しているため、de蒸気の環境に駆られます。
微調整。
DMControl一般化ベンチマーク、強化されたロボット操作の注意散漫ベンチマーク、長いシーケンシャル引き出しオープニングタスクなど、3つのドメインでの包括的な実験により、メソッドの有効性が検証されます。

要約(オリジナル)

Improving generalization is one key challenge in embodied AI, where obtaining large-scale datasets across diverse scenarios is costly. Traditional weak augmentations, such as cropping and flipping, are insufficient for improving a model’s performance in new environments. Existing data augmentation methods often disrupt task-relevant information in images, potentially degrading performance. To overcome these challenges, we introduce EAGLE, an efficient training framework for generalizable visuomotor policies that improves upon existing methods by (1) enhancing generalization by applying augmentation only to control-related regions identified through a self-supervised control-aware mask and (2) improving training stability and efficiency by distilling knowledge from an expert to a visuomotor student policy, which is then deployed to unseen environments without further fine-tuning. Comprehensive experiments on three domains, including the DMControl Generalization Benchmark, the enhanced Robot Manipulation Distraction Benchmark, and a long-sequential drawer-opening task, validate the effectiveness of our method.

arxiv情報

著者 Yinuo Zhao,Kun Wu,Tianjiao Yi,Zhiyuan Xu,Xiaozhu Ju,Zhengping Che,Chi Harold Liu,Jian Tang
発行日 2025-03-21 08:19:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | Efficient Training of Generalizable Visuomotor Policies via Control-Aware Augmentation はコメントを受け付けていません

Reachability-Guaranteed Optimal Control for the Interception of Dynamic Targets under Uncertainty

投稿日: 2025年3月24日 作成者: jarxiv

要約

不確実な環境での動的オブジェクトを傍受するには、現代のロボットシステムにおける重要な未解決の課題が含まれます。
現在の制御アプローチは、推定情報のみに依存しており、結果には堅牢性と実現可能性の保証がありません。
この作業では、既知の境界の不確実性によって動きが影響を受けるターゲットの傍受に取り組むための新しい方法を紹介します。
私たちのアプローチでは、不確実な条件下での傍受の実現可能性を保証するために活用された剛体の到達可能性分析の新しい技術を導入します。
次に、到達可能性の保証最適制御問題を提案し、ターゲットセットの堅牢性と保証された到達可能性を確保します。
宇宙の転倒ターゲットの傍受操作のケーススタディで方法論を示します。

要約(オリジナル)

Intercepting dynamic objects in uncertain environments involves a significant unresolved challenge in modern robotic systems. Current control approaches rely solely on estimated information, and results lack guarantees of robustness and feasibility. In this work, we introduce a novel method to tackle the interception of targets whose motion is affected by known and bounded uncertainty. Our approach introduces new techniques of reachability analysis for rigid bodies, leveraged to guarantee feasibility of interception under uncertain conditions. We then propose a Reachability-Guaranteed Optimal Control Problem, ensuring robustness and guaranteed reachability to a target set of configurations. We demonstrate the methodology in the case study of an interception maneuver of a tumbling target in space.

arxiv情報

著者 Tommaso Faraci,Roberto Lampariello
発行日 2025-03-21 08:21:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Reachability-Guaranteed Optimal Control for the Interception of Dynamic Targets under Uncertainty はコメントを受け付けていません

Somatic Safety: An Embodied Approach Towards Safe Human-Robot Interaction

投稿日: 2025年3月24日 作成者: jarxiv

要約

ロボットが乱雑な人間の世界に入ると、安全性の重要な問題は、物理的な接触が避けられず、望ましいものになる新鮮な顔色を引き受けます。
学際的なチームの一員として働いているダンサーが、コボットとのダンスの機会と課題を探求するために連絡先の即興演習に従事した方法の芸術的採点について報告します。
私たちは、ロボットと安全に、そして安全にロボットに関与するために、磨かれた身体的感覚と身体的スキルを採用して、ロボットがどのように振る舞い、感じたかについての知識を高めるために、即興の身体的操作を介して、即興の身体的操作を介してどのように採用したかを明らかにします。
私たちは、推論に加えて、ロボットとの身体的接触を通じて安全性が学び、感じられ、制定される全体的な心と体のアプローチである体性安全性を紹介します。
ロボットは、人々がそれらを保持するためにより良い設計を行う必要があり、人々の間の暗黙の安全性の手がかりを認識する必要があると結論付けています。

要約(オリジナル)

As robots enter the messy human world so the vital matter of safety takes on a fresh complexion with physical contact becoming inevitable and even desirable. We report on an artistic-exploration of how dancers, working as part of a multidisciplinary team, engaged in contact improvisation exercises to explore the opportunities and challenges of dancing with cobots. We reveal how they employed their honed bodily senses and physical skills to engage with the robots aesthetically and yet safely, interleaving improvised physical manipulations with reflections to grow their knowledge of how the robots behaved and felt. We introduce somatic safety, a holistic mind-body approach in which safety is learned, felt and enacted through bodily contact with robots in addition to being reasoned about. We conclude that robots need to be better designed for people to hold them and might recognise tacit safety cues among people.We propose that safety should be learned through iterative bodily experience interleaved with reflection.

arxiv情報

著者 Steve Benford,Eike Schneiders,Juan Pablo Martinez Avila,Praminda Caleb-Solly,Patrick Robert Brundell,Simon Castle-Green,Feng Zhou,Rachael Garrett,Kristina Höök,Sarah Whatley,Kate Marsh,Paul Tennent
発行日 2025-03-21 09:09:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.RO | Somatic Safety: An Embodied Approach Towards Safe Human-Robot Interaction はコメントを受け付けていません

Set-membership target search and tracking within an unknown cluttered area using cooperating UAVs equipped with vision systems

投稿日: 2025年3月24日 作成者: jarxiv

要約

このペーパーでは、先験的に未知の数の動く地上ターゲットを含むいくつかの未知の関心地域で進化する協力UAVの艦隊を使用して、ターゲット検索と追跡の問題に対処します。
各ドローンには、埋め込みコンピュータービジョンシステム（CVS）が装備されており、ラベル付きピクセルとその環境の観察された部分の深さマップを提供します。
さらに、UAVがターゲットを識別するときに、画像フレームに対応するピクセルを含むボックスが利用可能です。
ピクセル分類、深度マップ構築、およびターゲット識別アルゴリズムによって提供される情報に関する仮説は、セットメンバーシップアプローチによる搾取を可能にするために提案されています。
セットメンバーシップのターゲット位置推定器は、CVSが提供する情報を使用して開発されます。
各UAVは、特定されたターゲットの位置を含むことが保証されているセットと、識別されているターゲットの位置を含むセットを評価します。
次に、各UAVはこれらのセットを使用して、ターゲットを協力的に検索および追跡します。

要約(オリジナル)

This paper addresses the problem of target search and tracking using a fleet of cooperating UAVs evolving in some unknown region of interest containing an a priori unknown number of moving ground targets. Each drone is equipped with an embedded Computer Vision System (CVS), providing an image with labeled pixels and a depth map of the observed part of its environment. Moreover, a box containing the corresponding pixels in the image frame is available when a UAV identifies a target. Hypotheses regarding information provided by the pixel classification, depth map construction, and target identification algorithms are proposed to allow its exploitation by set-membership approaches. A set-membership target location estimator is developed using the information provided by the CVS. Each UAV evaluates sets guaranteed to contain the location of the identified targets and a set possibly containing the locations of targets still to be identified. Then, each UAV uses these sets to search and track targets cooperatively.

arxiv情報

著者 Maxime Zagar,Luc Meyer,Michel Kieffer,Hélène Piet-Lahanier
発行日 2025-03-21 09:21:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Set-membership target search and tracking within an unknown cluttered area using cooperating UAVs equipped with vision systems はコメントを受け付けていません

Extending Behavior Trees for Robotic Missions with Quality Requirements

投稿日: 2025年3月24日 作成者: jarxiv

要約

コンテキストと動機：近年、行動ツリーは、ロボット工学ミッションを形成するさまざまなタスクの仕様と制御スイッチングメカニズムとして、ロボットコミュニティ内で関心が高まっています。
問題：ロボットシステムの複雑さと有病率の高まりを考えると、実践者が潜在的な障害を検討したり、安全リスクを軽減するために、特定の品質を満たす高品質のミッションを設計することはますます困難で重要です。
ソフトウェア要件のエンジニアリングでは、品質または非機能的要件がシステムの成功の重要な要因として長い間認識されてきました。
現在、性質は動作ツリーモデルでは表されておらず、ロボットミッションをキャプチャするため、異なるミッションコンポーネントがそれらの品質にどの程度準拠しているかを評価することが困難です。
主要なアイデア：この論文では、ロボットミッションで明示的に表現される品質と品質要件を持つ行動ツリーの拡張機能を提案します。
拡張機能にメタモデルを提供し、ドメイン固有の言語（DSL）を開発し、行動ツリーを開発するためにロボット工学で最も使用されている言語の1つであるBehaviorTree.cppにDSLを統合した方法を説明します。
実装されたDSLの予備評価は、私たちのアプローチの実現可能性と同様のDSLの必要性について有望な結果を示しています。
貢献：私たちのアプローチは、ロボットミッションの動作モデルに品質を組み込む方法を舗装します。
これにより、ロボットミッションの品質の早期表現、ミッションコンポーネントのより良い概要と、品質の懸念の満足度への貢献が促進されます。

要約(オリジナル)

Context and motivation: In recent years, behavior trees have gained growing interest within the robotics community as a specification and control switching mechanism for the different tasks that form a robotics mission. Problem: Given the rising complexity and prevalence of robotic systems, it is increasingly challenging and important for practitioners to design high-quality missions that meet certain qualities, for instance, to consider potential failures or mitigate safety risks. In software requirements engineering, quality or non-functional requirements have long been recognized as a key factor in system success. Currently, qualities are not represented in behavior tree models, which capture a robotic mission, making it difficult to assess the extent to which different mission components comply with those qualities. Principal ideas: In this paper, we propose an extension for behavior trees to have qualities and quality requirements explicitly represented in robotics missions. We provide a meta-model for the extension, develop a domain-specific language (DSL), and describe how we integrated our DSL in one of the most used languages in robotics for developing behavior trees, BehaviorTree.CPP. A preliminary evaluation of the implemented DSL shows promising results for the feasibility of our approach and the need for similar DSLs. Contribution: Our approach paves the way for incorporating qualities into the behavior model of robotics missions. This promotes early expression of qualities in robotics missions, and a better overview of missions components and their contribution to the satisfaction of quality concerns.

arxiv情報

著者 Razan Ghzouli,Rebekka Wohlrab,Jennifer Horkoff
発行日 2025-03-21 09:32:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SE | Extending Behavior Trees for Robotic Missions with Quality Requirements はコメントを受け付けていません

Synthesizing multi-log grasp poses in cluttered environments

投稿日: 2025年3月24日 作成者: jarxiv

要約

マルチオブジェクトの把握は挑戦的な作業です。
森林床や森林機械から木の丸太を集めるために使用されるものなど、産業用クレーンマニピュレーターのエネルギーと費用効率の高い運用にとって重要です。
この作業では、物理シミュレーションの合成データを使用して、データ駆動型モデリングを使用して画像からのマルチオブジェクトの把握を推測する方法を探りました。
畳み込みニューラルネットワークは、マルチオブジェクトグラップを合成するために特別にトレーニングできることを示しました。
RGB深い画像とインスタンスセグメンテーションマスクを入力として使用して、U-NETモデル出力は、対応するグラップルの向きと開口幅を備えたマップを把握します。
ログの山の観察を考えると、モデルを使用して、可能な把握ポーズを合成して評価し、最も適切なポーズを選択することができます。
以前に見えないデータでテストされた場合、提案されたモデルは、最大96％の精度で成功した把握ポーズを見つけました。

要約(オリジナル)

Multi-object grasping is a challenging task. It is important for energy and cost-efficient operation of industrial crane manipulators, such as those used to collect tree logs from the forest floor and on forest machines. In this work, we used synthetic data from physics simulations to explore how data-driven modeling can be used to infer multi-object grasp poses from images. We showed that convolutional neural networks can be trained specifically for synthesizing multi-object grasps. Using RGB-Depth images and instance segmentation masks as input, a U-Net model outputs grasp maps with the corresponding grapple orientation and opening width. Given an observation of a pile of logs, the model can be used to synthesize and rate the possible grasp poses and select the most suitable one, with the possibility to respect changing operational constraints such as lift capacity and reach. When tested on previously unseen data, the proposed model found successful grasp poses with an accuracy up to 96%.

arxiv情報

著者 Arvid Fälldin,Tommy Löfstedt,Tobias Semberg,Erik Wallin,Martin Servin
発行日 2025-03-21 09:59:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Synthesizing multi-log grasp poses in cluttered environments はコメントを受け付けていません

Targetless 6DoF Calibration of LiDAR and 2D Scanning Radar Based on Cylindrical Occupancy

投稿日: 2025年3月24日 作成者: jarxiv

要約

信頼性が高く、全天候型の長距離センシングの能力により、Lidarとレーダーの融合は、堅牢な知覚のために自律的な車両に広く適用されています。
実際の動作では、マルチモーダルセンサーの融合に重要な、手動で較正された外因性パラメーターが振動により漂う可能性があります。
この問題に対処するために、Liracoと呼ばれる新しいターゲットレスキャリブレーションアプローチを、Lidarおよびレーダーセンサーの外因性6DOFキャリブレーションについて提示します。
どちらのタイプのセンサーも幾何学的な情報を取得できますが、明示的な人工マーカーの手がかりなしにマルチモーダルデータ間の幾何学的対応を埋めることは、主にスキャンレーダーの垂直解像度が低いためです。
ターゲットレスのキャリブレーションを実現するために、Liracoは、両方のセンサーの距離とのデータスパース性の増加を考慮して、一般的な円筒形の表現におけるLidarポイント雲とレーダースキャンの間の空間占領の一貫性を活用します。
具体的には、Liracoは有効なレーダースキャンピクセルを3D占有グリッドに拡張して、空間的一貫性に基づいてLidarポイントクラウドを制限します。
その結果、3DグリッドとLIDARポイントの空間オーバーラップに基づいて、外因性キャリブレーションパラメーターを含むコスト関数が策定されます。
外因性パラメーターは、コスト関数を最適化することにより最終的に推定されます。
異なるLIDARセンサーを備えた2つの実際の屋外データセットでの包括的な定量的および定性的実験は、提案された方法の実現可能性と精度を示しています。
ソースコードは公開されます。

要約(オリジナル)

Owing to the capability for reliable and all-weather long-range sensing, the fusion of LiDAR and Radar has been widely applied to autonomous vehicles for robust perception. In practical operation, well manually calibrated extrinsic parameters, which are crucial for the fusion of multi-modal sensors, may drift due to the vibration. To address this issue, we present a novel targetless calibration approach, termed LiRaCo, for the extrinsic 6DoF calibration of LiDAR and Radar sensors. Although both types of sensors can obtain geometric information, bridging the geometric correspondences between multi-modal data without any clues of explicit artificial markers is nontrivial, mainly due to the low vertical resolution of scanning Radar. To achieve the targetless calibration, LiRaCo leverages a spatial occupancy consistency between LiDAR point clouds and Radar scans in a common cylindrical representation, considering the increasing data sparsity with distance for both sensors. Specifically, LiRaCo expands the valid Radar scanned pixels into 3D occupancy grids to constrain LiDAR point clouds based on spatial consistency. Consequently, a cost function involving extrinsic calibration parameters is formulated based on the spatial overlap of 3D grids and LiDAR points. Extrinsic parameters are finally estimated by optimizing the cost function. Comprehensive quantitative and qualitative experiments on two real outdoor datasets with different LiDAR sensors demonstrate the feasibility and accuracy of the proposed method. The source code will be publicly available.

arxiv情報

著者 Weimin Wang,Yu Du,Ting Yang,Yu Liu
発行日 2025-03-21 10:09:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Targetless 6DoF Calibration of LiDAR and 2D Scanning Radar Based on Cylindrical Occupancy はコメントを受け付けていません