MUSE: A Real-Time Multi-Sensor State Estimator for Quadruped Robots

投稿日: 2025年3月28日 作成者: jarxiv

要約

このホワイトペーパーでは、四足ロボットナビゲーションにおける状態推定の精度とリアルタイムパフォーマンスを向上させるために設計された革新的な状態推定器であるMuse（マルチセンサー状態推定器）を紹介します。
提案された状態推定量は、[1]で提示された以前の研究に基づいています。
IMUS、エンコーダ、カメラ、LIDARSなどのさまざまなオンボードセンサーからのデータを統合して、滑りやすいシナリオでも、ロボットのポーズと動きの包括的な信頼できる推定を提供します。
Unitree AliengoロボットでMuseをテストし、滑りやすい地形や不均一な地形を含む困難なシナリオで移動制御ループを正常に閉じることに成功しました。
Pronto [2]およびVilens [3]に対するベンチマークは、それぞれ翻訳エラーの67.6％と26.7％の削減を示しました。
さらに、Museは、回転誤差と周波数のLidar-inertial odometryシステムであるDLIO [4]を上回りましたが、Muse（p-muse）の固有受容バージョンはTSIF [5]を上回り、絶対圧迫誤差（ATE）の45.9％の減少を示しました。

要約(オリジナル)

This paper introduces an innovative state estimator, MUSE (MUlti-sensor State Estimator), designed to enhance state estimation’s accuracy and real-time performance in quadruped robot navigation. The proposed state estimator builds upon our previous work presented in [1]. It integrates data from a range of onboard sensors, including IMUs, encoders, cameras, and LiDARs, to deliver a comprehensive and reliable estimation of the robot’s pose and motion, even in slippery scenarios. We tested MUSE on a Unitree Aliengo robot, successfully closing the locomotion control loop in difficult scenarios, including slippery and uneven terrain. Benchmarking against Pronto [2] and VILENS [3] showed 67.6% and 26.7% reductions in translational errors, respectively. Additionally, MUSE outperformed DLIO [4], a LiDAR-inertial odometry system in rotational errors and frequency, while the proprioceptive version of MUSE (P-MUSE) outperformed TSIF [5], with a 45.9% reduction in absolute trajectory error (ATE).

arxiv情報

著者 Ylenia Nisticò,João Carlos Virgolino Soares,Lorenzo Amatucci,Geoff Fink,Claudio Semini
発行日 2025-03-27 09:28:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, eess.SP | MUSE: A Real-Time Multi-Sensor State Estimator for Quadruped Robots はコメントを受け付けていません

Constrained Nonlinear Kaczmarz Projection on Intersections of Manifolds for Coordinated Multi-Robot Mobile Manipulation

投稿日: 2025年3月28日 作成者: jarxiv

要約

協調操作タスクは、モバイルマニピュレーターにさまざまな構造、タスク、およびロボット固有の制約を課します。
ただし、現在の方法は、これらの無数の制約を同時にモデル化および解決するのに苦労しています。
2つのソリューションを提案します。まず、同時解決に適した多様なマニホールドのファミリーとして制約をモデル化します。
第二に、制約された非線形Kaczmarz（CNKZ）投影技術を導入して、制約に満足したソリューションを生成します。
実験では、CNKZがベースラインアプローチを劇的に上回ることが示されていますが、これはソリューションをまったく見つけることができません。
CNKZをサンプリングベースのモーションプランニングアルゴリズムと統合して、3〜6個のモバイルマニピュレーター（18–36 DOF）の複雑で調整された動きを生成し、CNKZは最大80の非線形制約を同時に解決し、クラッター環境で最大92％の成功率を達成します。
また、OpenManipulator-Xアームを備えた3つのTurtleBot3ワッフルPIロボットを使用して、ハードウェアでのアプローチを示しています。

要約(オリジナル)

Cooperative manipulation tasks impose various structure-, task-, and robot-specific constraints on mobile manipulators. However, current methods struggle to model and solve these myriad constraints simultaneously. We propose a twofold solution: first, we model constraints as a family of manifolds amenable to simultaneous solving. Second, we introduce the constrained nonlinear Kaczmarz (cNKZ) projection technique to produce constraint-satisfying solutions. Experiments show that cNKZ dramatically outperforms baseline approaches, which cannot find solutions at all. We integrate cNKZ with a sampling-based motion planning algorithm to generate complex, coordinated motions for 3 to 6 mobile manipulators (18–36 DoF), with cNKZ solving up to 80 nonlinear constraints simultaneously and achieving up to a 92% success rate in cluttered environments. We also demonstrate our approach on hardware using three Turtlebot3 Waffle Pi robots with OpenMANIPULATOR-X arms.

arxiv情報

著者 Akshaya Agrawal,Parker Mayer,Zachary Kingston,Geoffrey A. Hollinger
発行日 2025-03-27 10:01:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Constrained Nonlinear Kaczmarz Projection on Intersections of Manifolds for Coordinated Multi-Robot Mobile Manipulation はコメントを受け付けていません

UGNA-VPR: A Novel Training Paradigm for Visual Place Recognition Based on Uncertainty-Guided NeRF Augmentation

投稿日: 2025年3月28日 作成者: jarxiv

要約

視覚的な場所認識（VPR）は、ロボットが以前に訪れた場所を特定するために重要であり、屋内環境と屋外環境の両方で自律的なナビゲーションに重要な役割を果たしています。
ただし、既存のVPRデータセットのほとんどは、シングルビューポイントシナリオに限定されており、特に多方向の運転または機能スパースシーンでは、認識の精度が低下します。
さらに、これらの制限を軽減するために追加データを取得することは、しばしば高価です。
このペーパーでは、不確実性の推定とNERFベースのデータ増強を通じて現在のデータセット内のマルチビューの多様性を高めることにより、既存のVPRネットワークのパフォーマンスを改善するための新しいトレーニングパラダイムを紹介します。
具体的には、最初は既存のVPRデータセットを使用してnerfをトレーニングします。
次に、私たちの考案された自己監視不確実性推定ネットワークは、高い不確実性のある場所を識別します。
これらの不確実な場所のポーズは、VPRネットワークのさらなるトレーニングのための新しい合成観測を生成するためにNERFに入力されます。
さらに、拡張および元のトレーニングデータの効率的な組織化のための改善されたストレージ方法を提案します。
3つのデータセットで広範な実験を実施し、3つの異なるVPRバックボーンネットワークをテストしました。
結果は、提案されたトレーニングパラダイムが、既存のデータを完全に利用し、他のトレーニングアプローチを上回ることにより、VPRのパフォーマンスを大幅に改善することを示しています。
さらに、自己記録された屋内および屋外データセットに対するアプローチの有効性を検証し、一貫して優れた結果を示しました。
データセットとコードは、\ href {https://github.com/nubot-nudt/ugna-vpr} {https://github.com/nubot-nudt/ugna-vpr}でリリースされています。

要約(オリジナル)

Visual place recognition (VPR) is crucial for robots to identify previously visited locations, playing an important role in autonomous navigation in both indoor and outdoor environments. However, most existing VPR datasets are limited to single-viewpoint scenarios, leading to reduced recognition accuracy, particularly in multi-directional driving or feature-sparse scenes. Moreover, obtaining additional data to mitigate these limitations is often expensive. This paper introduces a novel training paradigm to improve the performance of existing VPR networks by enhancing multi-view diversity within current datasets through uncertainty estimation and NeRF-based data augmentation. Specifically, we initially train NeRF using the existing VPR dataset. Then, our devised self-supervised uncertainty estimation network identifies places with high uncertainty. The poses of these uncertain places are input into NeRF to generate new synthetic observations for further training of VPR networks. Additionally, we propose an improved storage method for efficient organization of augmented and original training data. We conducted extensive experiments on three datasets and tested three different VPR backbone networks. The results demonstrate that our proposed training paradigm significantly improves VPR performance by fully utilizing existing data, outperforming other training approaches. We further validated the effectiveness of our approach on self-recorded indoor and outdoor datasets, consistently demonstrating superior results. Our dataset and code have been released at \href{https://github.com/nubot-nudt/UGNA-VPR}{https://github.com/nubot-nudt/UGNA-VPR}.

arxiv情報

著者 Yehui Shen,Lei Zhang,Qingqiu Li,Xiongwei Zhao,Yue Wang,Huimin Lu,Xieyuanli Chen
発行日 2025-03-27 10:14:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | UGNA-VPR: A Novel Training Paradigm for Visual Place Recognition Based on Uncertainty-Guided NeRF Augmentation はコメントを受け付けていません

A Data-Driven Method for INS/DVL Alignment

投稿日: 2025年3月28日 作成者: jarxiv

要約

自律的な水中車両（AUV）は、幅広いアプリケーションにとって洗練されたロボットプラットフォームです。
AUVナビゲーションシステムの精度は、その成功にとって重要です。
慣性センサーとドップラー速度ログ（DVL）融合は、長距離水中ナビゲーションの有望なソリューションです。
ただし、この融合の有効性は、慣性センサーとDVLの間の正確なアラインメントに大きく依存します。
現在のアラインメント方法は有望ですが、精度、収束時間、およびアライメントの軌跡効率の点で改善の余地があります。
この研究では、アラインメントプロセスのエンドツーエンドの深い学習フレームワークを提案します。
ノイズの低減やデータの非線形性のキャプチャなどのディープラーニング機能を活用することにより、シミュレーションデータを使用して、提案されたアプローチがアライメント精度の両方を強化し、現在のモデルベースの方法を超えて収束時間を短縮することを示します。

要約(オリジナル)

Autonomous underwater vehicles (AUVs) are sophisticated robotic platforms crucial for a wide range of applications. The accuracy of AUV navigation systems is critical to their success. Inertial sensors and Doppler velocity logs (DVL) fusion is a promising solution for long-range underwater navigation. However, the effectiveness of this fusion depends heavily on an accurate alignment between the inertial sensors and the DVL. While current alignment methods show promise, there remains significant room for improvement in terms of accuracy, convergence time, and alignment trajectory efficiency. In this research we propose an end-to-end deep learning framework for the alignment process. By leveraging deep-learning capabilities, such as noise reduction and capture of nonlinearities in the data, we show using simulative data, that our proposed approach enhances both alignment accuracy and reduces convergence time beyond current model-based methods.

arxiv情報

著者 Guy Damari,Itzik Klein
発行日 2025-03-27 10:38:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SE | A Data-Driven Method for INS/DVL Alignment はコメントを受け付けていません

Risk-Aware Reinforcement Learning for Autonomous Driving: Improving Safety When Driving through Intersection

投稿日: 2025年3月28日 作成者: jarxiv

要約

自律運転に補強学習を適用することで、広範囲にわたる注目が集まっています。
ただし、古典的な強化学習方法は、予想される報酬を最大化することによりポリシーを最適化しますが、十分な安全性に関する考慮事項がなく、多くの場合、エージェントを危険な状況に置きます。
このペーパーでは、交差点を越えた​​ときの安全性能を向上させるための自律運転のためのリスク認識強化学習アプローチを提案します。
安全な批評家は、俳優を更新するために報酬批評家と協力して運転リスクを評価し、仕事をするために構築されています。
これに基づいて、ラグランジュ弛緩法と周期的勾配反復を組み合わせて、アクションを実行可能な安全な領域に投影します。
さらに、マルチホップとマルチレイヤーの知覚（MLP）混合注意メカニズム（MMAM）がアクター批判ネットワークに組み込まれており、ポリシーが動的トラフィ​​ックに適応し、順列感度の課題を克服できるようにします。
これにより、ポリシーは、通過する機会の特定を強化しながら、周囲の潜在的なリスクにより効果的に焦点を合わせます。
シミュレーションテストは、署名されていない交差点でさまざまなタスクで実施されます。
結果は、提案されたアプローチが衝突率を効果的に削減し、ベースラインアルゴリズムと比較して交差効率を向上させることを示しています。
さらに、アブレーション実験は、リスク認識とMMAMをRLに組み込むことの利点を示しています。

要約(オリジナル)

Applying reinforcement learning to autonomous driving has garnered widespread attention. However, classical reinforcement learning methods optimize policies by maximizing expected rewards but lack sufficient safety considerations, often putting agents in hazardous situations. This paper proposes a risk-aware reinforcement learning approach for autonomous driving to improve the safety performance when crossing the intersection. Safe critics are constructed to evaluate driving risk and work in conjunction with the reward critic to update the actor. Based on this, a Lagrangian relaxation method and cyclic gradient iteration are combined to project actions into a feasible safe region. Furthermore, a Multi-hop and Multi-layer perception (MLP) mixed Attention Mechanism (MMAM) is incorporated into the actor-critic network, enabling the policy to adapt to dynamic traffic and overcome permutation sensitivity challenges. This allows the policy to focus more effectively on surrounding potential risks while enhancing the identification of passing opportunities. Simulation tests are conducted on different tasks at unsignalized intersections. The results show that the proposed approach effectively reduces collision rates and improves crossing efficiency in comparison to baseline algorithms. Additionally, our ablation experiments demonstrate the benefits of incorporating risk-awareness and MMAM into RL.

arxiv情報

著者 Bo Leng,Ran Yu,Wei Han,Lu Xiong,Zhuoren Li,Hailong Huang
発行日 2025-03-27 11:02:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Risk-Aware Reinforcement Learning for Autonomous Driving: Improving Safety When Driving through Intersection はコメントを受け付けていません

Online POMDP Planning with Anytime Deterministic Guarantees

投稿日: 2025年3月28日 作成者: jarxiv

要約

不確実性の下での意思決定は、不完全な情報のために多くの実用的な自律システムの重要な側面です。
部分的に観察可能なマルコフ決定プロセス（POMDP）は、そのような条件下で意思決定の問題を策定するための数学的に原則的なフレームワークを提供します。
ただし、POMDPの最適なソリューションを見つけることは一般に扱いにくいです。
近年、オンラインツリー検索ソルバーを使用して、小規模から中程度のサイズの問題から中程度の問題から拡大するという大きな進歩があります。
多くの場合、このような近似ソルバーは、最適なソリューションに対する確率的または漸近保証に限定されます。
この論文では、近似と最適な解との間の離散POMDPの決定論的関係を導き出します。
いつでも、既存のソリューションと最適なソリューションの間に関連する境界を導き出すことができることを示します。
私たちの派生物は、新しい一連のアルゴリズムの手段を提供し、既存のアルゴリズムに添付できることを示しています。これらのアルゴリズムは、特定の構造を備えており、わずかな計算オーバーヘッドで決定的な保証を提供します。
その見返りに、ソリューションの品質を証明するだけでなく、決定論的保証に基づいて決定を下すと、決定論的認証なしの元のアルゴリズムと比較して優れたパフォーマンスが発生する可能性があることを実証します。

要約(オリジナル)

Decision-making under uncertainty is a critical aspect of many practical autonomous systems due to incomplete information. Partially Observable Markov Decision Processes (POMDPs) offer a mathematically principled framework for formulating decision-making problems under such conditions. However, finding an optimal solution for a POMDP is generally intractable. In recent years, there has been a significant progress of scaling approximate solvers from small to moderately sized problems, using online tree search solvers. Often, such approximate solvers are limited to probabilistic or asymptotic guarantees towards the optimal solution. In this paper, we derive a deterministic relationship for discrete POMDPs between an approximated and the optimal solution. We show that at any time, we can derive bounds that relate between the existing solution and the optimal one. We show that our derivations provide an avenue for a new set of algorithms and can be attached to existing algorithms that have a certain structure to provide them with deterministic guarantees with marginal computational overhead. In return, not only do we certify the solution quality, but we demonstrate that making a decision based on the deterministic guarantee may result in superior performance compared to the original algorithm without the deterministic certification.

arxiv情報

著者 Moran Barenboim,Vadim Indelman
発行日 2025-03-27 11:30:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Online POMDP Planning with Anytime Deterministic Guarantees はコメントを受け付けていません

AcL: Action Learner for Fault-Tolerant Quadruped Locomotion Control

投稿日: 2025年3月28日 作成者: jarxiv

要約

四葉型ロボットは多目的な移動スキルを学ぶことができますが、1つ以上のジョイントが電力を失った場合、脆弱なままです。
対照的に、犬と猫は、負傷時に足を引きずる歩行を採用することができ、身体的状態に適応する驚くべき能力を示しています。
このような適応性に触発されたこのペーパーでは、四足動物が複数の関節断層の下で安定した歩行のために歩行を自律的に適応させることを可能にする、新しい教師と学生の強化学習フレームワークであるアクション学習者（ACL）を紹介します。
厳格な模倣を強制する従来の教師と学生のアプローチとは異なり、ACLは教師ポリシーを活用してスタイルの報酬を生成し、正確な複製を必要とせずに生徒のポリシーを導きます。
それぞれが異なる障害状態に対応する複数の教師ポリシーをトレーニングし、その後、それらをエンコーダーデコダーアーキテクチャを使用して単一の学生ポリシーに蒸留します。
以前の作業は主に単一の障害に対処していますが、ACLは、断層が発生したときに異なるリッピング歩行を自律的に切り替える、1つまたは2つの脚に沿って最大4つの故障したジョイントを使用して四足動物を歩くことができます。
単一関節および二重ジョイント断層の下で、実際のGO2四分足節のロボットでACLを検証し、断層耐性の安定した歩行、通常の歩行と子羊の歩行の間の滑らかな歩行遷移、および外乱に対する堅牢性を示します。

要約(オリジナル)

Quadrupedal robots can learn versatile locomotion skills but remain vulnerable when one or more joints lose power. In contrast, dogs and cats can adopt limping gaits when injured, demonstrating their remarkable ability to adapt to physical conditions. Inspired by such adaptability, this paper presents Action Learner (AcL), a novel teacher-student reinforcement learning framework that enables quadrupeds to autonomously adapt their gait for stable walking under multiple joint faults. Unlike conventional teacher-student approaches that enforce strict imitation, AcL leverages teacher policies to generate style rewards, guiding the student policy without requiring precise replication. We train multiple teacher policies, each corresponding to a different fault condition, and subsequently distill them into a single student policy with an encoder-decoder architecture. While prior works primarily address single-joint faults, AcL enables quadrupeds to walk with up to four faulty joints across one or two legs, autonomously switching between different limping gaits when faults occur. We validate AcL on a real Go2 quadruped robot under single- and double-joint faults, demonstrating fault-tolerant, stable walking, smooth gait transitions between normal and lamb gaits, and robustness against external disturbances.

arxiv情報

著者 Tianyu Xu,Yaoyu Cheng,Pinxi Shen,Lin Zhao,Electrical,Computer Engineering,National University of Singapore,Singapore,Mechanical Engineering,National University of Singapore,Singapore
発行日 2025-03-27 11:47:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY | AcL: Action Learner for Fault-Tolerant Quadruped Locomotion Control はコメントを受け付けていません

Neuro-Symbolic Imitation Learning: Discovering Symbolic Abstractions for Skill Learning

投稿日: 2025年3月28日 作成者: jarxiv

要約

模倣学習は、ロボットに新しい行動を教えるための一般的な方法です。
ただし、ほとんどの既存の方法は、長いマルチステップのタスクではなく、短い孤立したスキルを教えることに焦点を当てています。
このギャップを埋めるために、模倣学習アルゴリズムは、個々のスキルを学習するだけでなく、これらのスキルをシーケンスして拡張タスクを効果的に実行する方法を抽象化する必要があります。
このペーパーでは、神経腫瘍模倣学習フレームワークを提案することにより、この課題に対処します。
タスクのデモンストレーションを使用して、システムはまず、低レベルの状態アクション空間を抽象化する象徴的な表現を学習します。
学習した表現は、タスクをより簡単なサブタスクに分解し、システムがシンボリック計画を活用して抽象的な計画を生成できるようにします。
その後、システムはこのタスク分解を利用して、抽象計画を実行可能なロボットコマンドに洗練できる一連のニューラルスキルを学習します。
3つのシミュレートされたロボット環境での実験結果は、ベースラインと比較して、ニューロシンボリックアプローチがデータ効率を高め、一般化能力を改善し、解釈可能性を促進することを示しています。

要約(オリジナル)

Imitation learning is a popular method for teaching robots new behaviors. However, most existing methods focus on teaching short, isolated skills rather than long, multi-step tasks. To bridge this gap, imitation learning algorithms must not only learn individual skills but also an abstract understanding of how to sequence these skills to perform extended tasks effectively. This paper addresses this challenge by proposing a neuro-symbolic imitation learning framework. Using task demonstrations, the system first learns a symbolic representation that abstracts the low-level state-action space. The learned representation decomposes a task into easier subtasks and allows the system to leverage symbolic planning to generate abstract plans. Subsequently, the system utilizes this task decomposition to learn a set of neural skills capable of refining abstract plans into actionable robot commands. Experimental results in three simulated robotic environments demonstrate that, compared to baselines, our neuro-symbolic approach increases data efficiency, improves generalization capabilities, and facilitates interpretability.

arxiv情報

著者 Leon Keller,Daniel Tanneberg,Jan Peters
発行日 2025-03-27 11:50:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | Neuro-Symbolic Imitation Learning: Discovering Symbolic Abstractions for Skill Learning はコメントを受け付けていません

Integrating Naturalistic Insights in Objective Multi-Vehicle Safety Framework

投稿日: 2025年3月28日 作成者: jarxiv

要約

自律車両技術が進むにつれて、複雑な交通シナリオでの安全性の正確な評価が重要になります。特に、安全性の人間の認識を考慮に入れる必要がある混合車両環境では。
このホワイトペーパーでは、多様な客観的安全メトリックの同時利用を促進するために、交通の安全性を多様な状況で評価するために設計されたフレームワークを紹介します。
さらに、モデルパラメーターを調整することにより、安全性の主観的な知覚の統合が可能になります。
このフレームワークは、自然主義的な運転データセットを利用して、高速道路上の車に住むシナリオのさまざまなモデル構成を評価するために適用されました。
モデルの評価は、特に複数の客観的な安全対策を統合する場合、優れたパフォーマンスを示しました。
さらに、周囲のすべての車両を検討すると、パフォーマンスが大幅に向上しました。

要約(オリジナル)

As autonomous vehicle technology advances, the precise assessment of safety in complex traffic scenarios becomes crucial, especially in mixed-vehicle environments where human perception of safety must be taken into account. This paper presents a framework designed for assessing traffic safety in multi-vehicle situations, facilitating the simultaneous utilization of diverse objective safety metrics. Additionally, it allows the integration of subjective perception of safety by adjusting model parameters. The framework was applied to evaluate various model configurations in car-following scenarios on a highway, utilizing naturalistic driving datasets. The evaluation of the model showed an outstanding performance, particularly when integrating multiple objective safety measures. Furthermore, the performance was significantly enhanced when considering all surrounding vehicles.

arxiv情報

著者 Enrico Del Re,Amirhesam Aghanouri,Cristina Olaverri-Monreal
発行日 2025-03-27 12:09:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Integrating Naturalistic Insights in Objective Multi-Vehicle Safety Framework はコメントを受け付けていません

STAMICS: Splat, Track And Map with Integrated Consistency and Semantics for Dense RGB-D SLAM

投稿日: 2025年3月28日 作成者: jarxiv

要約

同時ローカリゼーションとマッピング（SLAM）は、ロボット工学の重要なタスクであり、システムが複雑な環境を自律的にナビゲートして理解できるようにします。
現在のSLAMアプローチは、マッピングとローカリゼーションのための幾何学的な手がかりに主に依存していますが、特に動的または密集したシーンでは、セマンティックの一貫性を確保できないことがよくあります。
この制限に対処するために、セマンティック情報を3Dガウス表現と統合して、ローカリゼーションとマッピングの精度の両方を強化する新しい方法であるStamicsを紹介します。
スタミックは、3Dガウスベースの忠実度再構成のための3Dガウスベースのシーン表現、時間的セマンティックの一貫性を強化するグラフベースのクラスタリング手法、および目に見えないオブジェクトの分類を可能にするオープンポンシャルシステムの3つの重要なコンポーネントで構成されています。
大規模な実験では、スタミックがカメラのポーズの推定とマップの品質を大幅に改善し、再建エラーを減らしながら最先端の方法を上回ることが示されています。
コードは公開されます。

要約(オリジナル)

Simultaneous Localization and Mapping (SLAM) is a critical task in robotics, enabling systems to autonomously navigate and understand complex environments. Current SLAM approaches predominantly rely on geometric cues for mapping and localization, but they often fail to ensure semantic consistency, particularly in dynamic or densely populated scenes. To address this limitation, we introduce STAMICS, a novel method that integrates semantic information with 3D Gaussian representations to enhance both localization and mapping accuracy. STAMICS consists of three key components: a 3D Gaussian-based scene representation for high-fidelity reconstruction, a graph-based clustering technique that enforces temporal semantic consistency, and an open-vocabulary system that allows for the classification of unseen objects. Extensive experiments show that STAMICS significantly improves camera pose estimation and map quality, outperforming state-of-the-art methods while reducing reconstruction errors. Code will be public available.

arxiv情報

著者 Yongxu Wang,Xu Cao,Weiyun Yi,Zhaoxin Fan
発行日 2025-03-27 12:10:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | STAMICS: Splat, Track And Map with Integrated Consistency and Semantics for Dense RGB-D SLAM はコメントを受け付けていません