Wearable Haptics for a Marionette-inspired Teleoperation of Highly Redundant Robotic Systems

投稿日: 2025年3月21日 作成者: jarxiv

要約

局所操作機能を備えた複雑で運動的に冗長なロボットのテレオ操作は、ロボットの自由度を操作して望ましいタスクを達成する方法を操作する方法を学ぶ必要がある人間のオペレーターにとって課題を表しています。
これに関連して、学習しやすく使いやすい人間のロボットインターフェイスを開発することが最重要です。
最近の作品は、人間のオペレーターと「マリオネット」コントロールに相当するリモートロボットとの間の仮想物理的相互作用インターフェイスに依存している新しいテレオ操作の概念を導入しましたが、そのフィードバックは人間側の視覚的フィードバックのみに限定されていました。
この論文では、以前の作品で与えられた制限に対処するためにウェアラブルの触覚インターフェイスを追加することにより、「マリオネット」インターフェイスを拡張することを提案します。
追加の触覚フィードバックモダリティを活用すると、人間のオペレーターはロボットに対する完全な感覚運動制御を獲得し、環境とのロボットの反応と相互作用についての認識が大幅に改善されます。
提案されたインターフェイスと関連するテレオ操作フレームワークをナイーブユーザーと評価し、触覚操作のパフォーマンスと触覚フィードバックの有無にかかわらずユーザーエクスペリエンスを評価しました。
実施された実験は、ヒューマノイドのデュアルアーム上半身で四足動けたハイブリッドの脚輪であるCentauro Robotとの局所操作ミッションで構成されていました。

要約(オリジナル)

The teleoperation of complex, kinematically redundant robots with loco-manipulation capabilities represents a challenge for human operators, who have to learn how to operate the many degrees of freedom of the robot to accomplish a desired task. In this context, developing an easy-to-learn and easy-to-use human-robot interface is paramount. Recent works introduced a novel teleoperation concept, which relies on a virtual physical interaction interface between the human operator and the remote robot equivalent to a ‘Marionette’ control, but whose feedback was limited to only visual feedback on the human side. In this paper, we propose extending the ‘Marionette’ interface by adding a wearable haptic interface to cope with the limitations given by the previous works. Leveraging the additional haptic feedback modality, the human operator gains full sensorimotor control over the robot, and the awareness about the robot’s response and interactions with the environment is greatly improved. We evaluated the proposed interface and the related teleoperation framework with naive users, assessing the teleoperation performance and the user experience with and without haptic feedback. The conducted experiments consisted in a loco-manipulation mission with the CENTAURO robot, a hybrid leg-wheel quadruped with a humanoid dual-arm upper body.

arxiv情報

著者 Davide Torielli,Leonardo Franco,Maria Pozzi,Luca Muratore,Monica Malvezzi,Nikos Tsagarakis,Domenico Prattichizzo
発行日 2025-03-20 10:01:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Wearable Haptics for a Marionette-inspired Teleoperation of Highly Redundant Robotic Systems はコメントを受け付けていません

AffordDP: Generalizable Diffusion Policy with Transferable Affordance

投稿日: 2025年3月21日 作成者: jarxiv

要約

拡散ベースのポリシーは、ドメイン外分布に苦労しながら、ロボット操作タスクで印象的なパフォーマンスを示しています。
最近の取り組みは、拡散ポリシーの視覚的特徴を改善することにより、一般化を強化しようとしました。
ただし、それらの一般化は通常、同様の外観を持つ同じカテゴリに限定されています。
私たちの重要な洞察は、アフォーダンスを活用して、エージェントがオブジェクトと「どこに」、「どのように」を定義する操作前に、まったく目に見えないオブジェクトのインスタンスとカテゴリに一般化を大幅に強化することです。
新しいカテゴリ間で一般化可能な操作用に設計されたTransferable Affordance（AfforeDP）を使用して、拡散ポリシーを導入します。
3Dコンタクトポイントと接触後の軌跡を介したアフォーデンスをモデル化し、複雑なタスクの重要な静的情報と動的情報をキャプチャします。
ドメイン内データから目に見えないオブジェクトへの転送可能なアフォーダンスは、基礎ビジョンモデルとポイントクラウド登録手法を使用して6D変換マトリックスを推定することにより達成されます。
さらに重要なことは、アクションシーケンスの生成を改良できる拡散サンプリング中に、アフォーダンスガイダンスを組み込むことです。
このガイダンスは、生成されたアクションが、アクション空間のマニホールド内で生成されたアクションを維持しながら、目に見えないオブジェクトの希望する操作に徐々に移動するよう指示します。
シミュレートされた環境と現実世界の両方の環境からの実験結果は、SOFFERDPが以前の拡散ベースの方法よりも一貫して優れていることを示しており、他の人が失敗する目に見えないインスタンスやカテゴリに成功裏に一般化します。

要約(オリジナル)

Diffusion-based policies have shown impressive performance in robotic manipulation tasks while struggling with out-of-domain distributions. Recent efforts attempted to enhance generalization by improving the visual feature encoding for diffusion policy. However, their generalization is typically limited to the same category with similar appearances. Our key insight is that leveraging affordances–manipulation priors that define ‘where’ and ‘how’ an agent interacts with an object–can substantially enhance generalization to entirely unseen object instances and categories. We introduce the Diffusion Policy with transferable Affordance (AffordDP), designed for generalizable manipulation across novel categories. AffordDP models affordances through 3D contact points and post-contact trajectories, capturing the essential static and dynamic information for complex tasks. The transferable affordance from in-domain data to unseen objects is achieved by estimating a 6D transformation matrix using foundational vision models and point cloud registration techniques. More importantly, we incorporate affordance guidance during diffusion sampling that can refine action sequence generation. This guidance directs the generated action to gradually move towards the desired manipulation for unseen objects while keeping the generated action within the manifold of action space. Experimental results from both simulated and real-world environments demonstrate that AffordDP consistently outperforms previous diffusion-based methods, successfully generalizing to unseen instances and categories where others fail.

arxiv情報

著者 Shijie Wu,Yihang Zhu,Yunao Huang,Kaizhen Zhu,Jiayuan Gu,Jingyi Yu,Ye Shi,Jingya Wang
発行日 2025-03-20 10:03:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | AffordDP: Generalizable Diffusion Policy with Transferable Affordance はコメントを受け付けていません

GraspCoT: Integrating Physical Property Reasoning for 6-DoF Grasping under Flexible Language Instructions

投稿日: 2025年3月21日 作成者: jarxiv

要約

柔軟な指導ガイド付き6-DOFグラッピングは、実際のロボットシステムにとって重要でありながら挑戦的なタスクです。
既存の方法では、大規模な言語モデル（LLM）のコンテキスト理解機能を利用して、式とターゲット間のマッピングを確立し、ロボットが指示におけるユーザーの意図を理解できるようにします。
ただし、オブジェクトの物理的特性に関するLLMの知識は、把握に激しく関連しているにもかかわらず、既知のままです。
この作業では、補助的な質問回答（QA）タスクに導かれた物理的特性を指す、思考チェーン（COT）推論メカニズムを統合する6-DOF GRASP検出フレームワークであるGraspCotを提案します。
特に、ターゲット解析、物理的特性分析、アクション選択の把握を含む階層的推論を可能にするために、一連のQAテンプレートを設計します。
さらに、GraspCotは統一されたマルチモーダルLLMアーキテクチャを提示します。このアーキテクチャは、3Dシーンのマルチビュー観測を3Dに認識した視覚トークンにエンコードし、COT由来のテキストトークンをLLMS内に共同で埋め込み、把握ポーズ予測を生成します。
さらに、多様および間接的な言語コマンドの下でのマルチオブジェクトグラス検出のためのパブリックデータセットのギャップを埋める大規模なベンチマークであるIntentGraspを提示します。
IntentGraspに関する広範な実験は、私たちの方法の優位性を示しており、実際のロボットアプリケーションでの追加の検証がその実用性を確認しています。
コードとデータがリリースされます。

要約(オリジナル)

Flexible instruction-guided 6-DoF grasping is a significant yet challenging task for real-world robotic systems. Existing methods utilize the contextual understanding capabilities of the large language models (LLMs) to establish mappings between expressions and targets, allowing robots to comprehend users’ intentions in the instructions. However, the LLM’s knowledge about objects’ physical properties remains underexplored despite its tight relevance to grasping. In this work, we propose GraspCoT, a 6-DoF grasp detection framework that integrates a Chain-of-Thought (CoT) reasoning mechanism oriented to physical properties, guided by auxiliary question-answering (QA) tasks. Particularly, we design a set of QA templates to enable hierarchical reasoning that includes three stages: target parsing, physical property analysis, and grasp action selection. Moreover, GraspCoT presents a unified multimodal LLM architecture, which encodes multi-view observations of 3D scenes into 3D-aware visual tokens, and then jointly embeds these visual tokens with CoT-derived textual tokens within LLMs to generate grasp pose predictions. Furthermore, we present IntentGrasp, a large-scale benchmark that fills the gap in public datasets for multi-object grasp detection under diverse and indirect verbal commands. Extensive experiments on IntentGrasp demonstrate the superiority of our method, with additional validation in real-world robotic applications confirming its practicality. Codes and data will be released.

arxiv情報

著者 Xiaomeng Chu,Jiajun Deng,Guoliang You,Wei Liu,Xingchen Li,Jianmin Ji,Yanyong Zhang
発行日 2025-03-20 10:32:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | GraspCoT: Integrating Physical Property Reasoning for 6-DoF Grasping under Flexible Language Instructions はコメントを受け付けていません

AVOCADO: Adaptive Optimal Collision Avoidance driven by Opinion

投稿日: 2025年3月21日 作成者: jarxiv

要約

環境内の他のエージェントの協力の程度が不明な場合に、ホロノミックロボット衝突回避に対処するための新しいナビゲーションアプローチであるAvocado（Adaptive Optimal衝突回避）を提示します。
アボカドは、最適な相互衝突回避法に似た速度障害物の定式化から出発します。
ただし、相互主義を想定する代わりに、アボカドは、他のロボットやエージェントの協力度にリアルタイムで適応することを目的とする適応制御問題を提起します。
適応は、センサーの観察のみに依存する新しい非線形意見ダイナミクスデザインを通じて達成されます。
副産物として、非線形意見のダイナミクスに基づいて、ロボットとエージェント間の幾何学的対称性の下でのデッドロックを避けるための新しい方法を提案します。
広範な数値シミュレーションは、アボカドが成功率、目標までの時間、計算時間の観点から、混合協同/非協力的なナビゲーション環境における既存の幾何学的、学習、計画ベースのアプローチを上回ることを示しています。
さらに、アボカドが他のロボットや人間と混雑した環境での衝突を回避できることを確認する複数の実際の実験を実施します。

要約(オリジナル)

We present AVOCADO (AdaptiVe Optimal Collision Avoidance Driven by Opinion), a novel navigation approach to address holonomic robot collision avoidance when the degree of cooperation of the other agents in the environment is unknown. AVOCADO departs from a Velocity Obstacle’s formulation akin to the Optimal Reciprocal Collision Avoidance method. However, instead of assuming reciprocity, AVOCADO poses an adaptive control problem that aims at adapting in real-time to the cooperation degree of other robots and agents. Adaptation is achieved through a novel nonlinear opinion dynamics design that relies solely on sensor observations. As a by-product, based on the nonlinear opinion dynamics, we propose a novel method to avoid the deadlocks under geometrical symmetries among robots and agents. Extensive numerical simulations show that AVOCADO surpasses existing geometrical, learning and planning-based approaches in mixed cooperative/non-cooperative navigation environments in terms of success rate, time to goal and computational time. In addition, we conduct multiple real experiments that verify that AVOCADO is able to avoid collisions in environments crowded with other robots and humans.

arxiv情報

著者 Diego Martinez-Baselga,Eduardo Sebastián,Eduardo Montijano,Luis Riazuelo,Carlos Sagüés,Luis Montano
発行日 2025-03-20 11:51:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | AVOCADO: Adaptive Optimal Collision Avoidance driven by Opinion はコメントを受け付けていません

Rejecting Outliers in 2D-3D Point Correspondences from 2D Forward-Looking Sonar Observations

投稿日: 2025年3月21日 作成者: jarxiv

要約

古典的な堅牢な方法を適用する前に外れ値を拒否することは、特に外れ値の比率が非常に高い場合（例：90％）、推定の成功率を高めるための一般的なアプローチです。
ただし、この方法は、多くの場合、センサーまたはタスク固有の特性に依存しており、異なるシナリオで簡単に転送できない場合があります。
このホワイトペーパーでは、2Dフォワードのソナー（2D FLS）観測から2D-3Dポイント対応の外れ値を拒否する問題に焦点を当てています。
2D FLSの標高の狭い視野を完全に活用し、異なる3Dポイント構成の2つの互換性テストを開発します。（1）一般的に、ポイントセットから形成された過度に長いエッジまたは短いエッジをフィルタリングするペアワイズ長インチ内テストを設計します。
（2）Coplanarの場合、コプラナリティテストを設計して、コプラナー設定の下で4つの対応が互換性があるかどうかを確認します。
どちらのテストも外れ値の拒絶パイプラインに統合されており、その後に最大のクリーク検索が行われ、最大の一貫した測定セットがインラとして識別されます。
広範なシミュレーションは、一般的な症例と共同症例のための提案された方法が、それぞれ80％と90％の異常な比率で効果的に機能することを示しています。

要約(オリジナル)

Rejecting outliers before applying classical robust methods is a common approach to increase the success rate of estimation, particularly when the outlier ratio is extremely high (e.g. 90%). However, this method often relies on sensor- or task-specific characteristics, which may not be easily transferable across different scenarios. In this paper, we focus on the problem of rejecting 2D-3D point correspondence outliers from 2D forward-looking sonar (2D FLS) observations, which is one of the most popular perception device in the underwater field but has a significantly different imaging mechanism compared to widely used perspective cameras and LiDAR. We fully leverage the narrow field of view in the elevation of 2D FLS and develop two compatibility tests for different 3D point configurations: (1) In general cases, we design a pairwise length in-range test to filter out overly long or short edges formed from point sets; (2) In coplanar cases, we design a coplanarity test to check if any four correspondences are compatible under a coplanar setting. Both tests are integrated into outlier rejection pipelines, where they are followed by maximum clique searching to identify the largest consistent measurement set as inliers. Extensive simulations demonstrate that the proposed methods for general and coplanar cases perform effectively under outlier ratios of 80% and 90%, respectively.

arxiv情報

著者 Jiayi Su,Shaofeng Zou,Jingyu Qian,Yan Wei,Fengzhong Qu,Liuqing Yang
発行日 2025-03-20 12:00:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Rejecting Outliers in 2D-3D Point Correspondences from 2D Forward-Looking Sonar Observations はコメントを受け付けていません

Relational Object-Centric Actor-Critic

投稿日: 2025年3月21日 作成者: jarxiv

要約

監視されていないオブジェクト中心の表現学習の進歩により、ダウンストリームタスクへの応用が大幅に改善されました。
最近の作品は、オブジェクト表現を解き放つことで、画像ベースのオブジェクト中心の強化学習タスクで政策学習を支援できることを強調しています。
このペーパーでは、批評家にオブジェクト中心の世界モデルを組み込むことにより、アクタークライティックとモデルベースのアプローチを統合する新しいオブジェクト中心の強化学習アルゴリズムを提案します。
世界モデルは、アクションが環境への介入である現在の状態アクションペアを考慮して、次の状態と報酬を予測することにより、環境のデータ生成プロセスをキャプチャします。
モデルベースの強化学習では、世界モデルの学習は、環境のダイナミクスの根底にある因果関係を学習する必要がある因果誘導問題として解釈できます。
シミュレートされた3Dロボット環境と、組成構造の2D環境での方法を評価します。
ベースラインとして、オブジェクト中心のモデルのないアクタークライティックアルゴリズムと最先端のモノリシックモデルベースのアルゴリズムと比較します。
ベースラインでは、より簡単なタスクで同等のパフォーマンスを示していますが、私たちのアプローチは、多数のオブジェクトまたはより複雑なダイナミクスを備えたより挑戦的なシナリオでそれらを上回ります。

要約(オリジナル)

The advances in unsupervised object-centric representation learning have significantly improved its application to downstream tasks. Recent works highlight that disentangled object representations can aid policy learning in image-based, object-centric reinforcement learning tasks. This paper proposes a novel object-centric reinforcement learning algorithm that integrates actor-critic and model-based approaches by incorporating an object-centric world model within the critic. The world model captures the environment’s data-generating process by predicting the next state and reward given the current state-action pair, where actions are interventions in the environment. In model-based reinforcement learning, world model learning can be interpreted as a causal induction problem, where the agent must learn the causal relationships underlying the environment’s dynamics. We evaluate our method in a simulated 3D robotic environment and a 2D environment with compositional structure. As baselines, we compare against object-centric, model-free actor-critic algorithms and a state-of-the-art monolithic model-based algorithm. While the baselines show comparable performance in easier tasks, our approach outperforms them in more challenging scenarios with a large number of objects or more complex dynamics.

arxiv情報

著者 Leonid Ugadiarov,Vitaliy Vorobyov,Aleksandr I. Panov
発行日 2025-03-20 12:30:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | Relational Object-Centric Actor-Critic はコメントを受け付けていません

GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization

投稿日: 2025年3月21日 作成者: jarxiv

要約

シーン座標の回帰やカメラは回帰をもたらすなど、さまざまな視覚的ローカリゼーションアプローチが存在しますが、これらの方法は最適化の複雑さや限られた精度に苦しんでいます。
これらの課題に対処するために、3Dジオメトリとシーンの外観の両方のコンパクトなエンコードを可能にする、特に3Dガウススプラッティング（3DG）の新しいビュー合成技術の使用を調査します。
軽量で堅牢なキーポイント記述子を軽量Xfeat機能抽出器から3DGに統合し、屋内環境と屋外環境の両方でパフォーマンスを向上させる2段階の手順を提案します。
粗いポーズ推定値は、3DGS表現とクエリの画像記述子の間の2D-3D対応を介して直接取得されます。
第2段階では、レンダリングベースの測光ワープ損失を最小限に抑えることにより、最初のポーズ推定値が改良されます。
広く使用されている屋内および屋外データセットのベンチマークは、NerfmatchやPnerflocなどの最近のニューラルレンダリングベースのローカリゼーション方法よりも改善を示しています。

要約(オリジナル)

Although various visual localization approaches exist, such as scene coordinate regression and camera pose regression, these methods often struggle with optimization complexity or limited accuracy. To address these challenges, we explore the use of novel view synthesis techniques, particularly 3D Gaussian Splatting (3DGS), which enables the compact encoding of both 3D geometry and scene appearance. We propose a two-stage procedure that integrates dense and robust keypoint descriptors from the lightweight XFeat feature extractor into 3DGS, enhancing performance in both indoor and outdoor environments. The coarse pose estimates are directly obtained via 2D-3D correspondences between the 3DGS representation and query image descriptors. In the second stage, the initial pose estimate is refined by minimizing the rendering-based photometric warp loss. Benchmarking on widely used indoor and outdoor datasets demonstrates improvements over recent neural rendering-based localization methods, such as NeRFMatch and PNeRFLoc.

arxiv情報

著者 Gennady Sidorov,Malik Mohrat,Denis Gridusov,Ruslan Rakhimov,Sergey Kolyubin
発行日 2025-03-20 12:57:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG, cs.RO | GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization はコメントを受け付けていません

The Morphology-Control Trade-Off: Insights into Soft Robotic Efficiency

投稿日: 2025年3月21日 作成者: jarxiv

要約

ソフトロボットは、動的環境で適応性のある適応可能なシステムを有効にするための変革の可能性を備えています。
ただし、形態学と制御の複雑さとタスクのパフォーマンスへの集合的な影響との相互作用は、依然としてよく理解されていません。
したがって、この研究では、4つのよく使用されている形態学的複雑さメトリックとフロップで測定された複雑さを制御するためのさまざまな難易度のタスク全体でこれらのトレードオフを調査します。
これらの要因が、進化的ロボット実験を利用することにより、タスクのパフォーマンスにどのように影響するかを調査します。
結果は、最適なパフォーマンスは形態と制御の間の整合に依存することを示しています。より単純な形態と軽量コントローラーは、タスクを容易にするために十分であり、より難しいタスクは両方の次元でより高い複雑さを必要とします。
さらに、同じタスクパフォ​​ーマンスを達成する形態学的複雑さと制御複雑さの間の明確なトレードオフを観察できます。
さらに、個々の形態学的メトリックのタスク固有の貢献を公開するための感度分析も提案します。
私たちの研究は、形態、制御、およびタスクのパフォーマンスの関係を調査するためのフレームワークを確立し、計算効率と適応性のバランスをとるタスク固有のロボット設計の開発を進めます。
この研究は、実質的な洞察を提供することにより、実際のシナリオでソフトロボット工学の実際の応用に貢献しています。

要約(オリジナル)

Soft robotics holds transformative potential for enabling adaptive and adaptable systems in dynamic environments. However, the interplay between morphological and control complexities and their collective impact on task performance remains poorly understood. Therefore, in this study, we investigate these trade-offs across tasks of differing difficulty levels using four well-used morphological complexity metrics and control complexity measured by FLOPs. We investigate how these factors jointly influence task performance by utilizing the evolutionary robot experiments. Results show that optimal performance depends on the alignment between morphology and control: simpler morphologies and lightweight controllers suffice for easier tasks, while harder tasks demand higher complexities in both dimensions. In addition, a clear trade-off between morphological and control complexities that achieve the same task performance can be observed. Moreover, we also propose a sensitivity analysis to expose the task-specific contributions of individual morphological metrics. Our study establishes a framework for investigating the relationships between morphology, control, and task performance, advancing the development of task-specific robotic designs that balance computational efficiency with adaptability. This study contributes to the practical application of soft robotics in real-world scenarios by providing actionable insights.

arxiv情報

著者 Yue Xie,Kai-feng Chu,Xing Wang,Fumiya Iida
発行日 2025-03-20 13:19:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.NE, cs.RO | The Morphology-Control Trade-Off: Insights into Soft Robotic Efficiency はコメントを受け付けていません

LiMoE: Mixture of LiDAR Representation Learners from Automotive Scenes

投稿日: 2025年3月21日 作成者: jarxiv

要約

LIDARデータPretrainingは、データ利用を強化するために大規模で容易に利用可能なデータセットを活用するための有望なアプローチを提供します。
ただし、既存の方法は主にスパースボクセル表現に焦点を当て、他のLIDAR表現によって提供される補完的な属性を見落としています。
この作業では、専門家（MOE）のパラダイムの混合をLidarデータ表現に統合するフレームワークであるLimoeを、範囲画像、スパースボクセル、生のポイントなどの複数の表現を相乗的に組み合わせることを提案します。
私たちのアプローチは、次の3つの段階で構成されています。i）画像からライダーへの前orainingは、さまざまな表現にわたって画像からポイントクラウドに事前知識を転送します。
ii）MOEを使用して各表現から関連する属性を適応的にアクティブにし、これらの混合機能を統一された3Dネットワークに蒸留するコントラスト混合学習（CML）。
iii）セマンティック混合監督（SMS）。複数の表現からのセマンティックロジットを組み合わせて、ダウンストリームセグメンテーションパフォーマンスを高めます。
11の大規模なLidarデータセットにわたる広範な実験は、私たちの有効性と優位性を示しています。
コードは公開されています。

要約(オリジナル)

LiDAR data pretraining offers a promising approach to leveraging large-scale, readily available datasets for enhanced data utilization. However, existing methods predominantly focus on sparse voxel representation, overlooking the complementary attributes provided by other LiDAR representations. In this work, we propose LiMoE, a framework that integrates the Mixture of Experts (MoE) paradigm into LiDAR data representation learning to synergistically combine multiple representations, such as range images, sparse voxels, and raw points. Our approach consists of three stages: i) Image-to-LiDAR Pretraining, which transfers prior knowledge from images to point clouds across different representations; ii) Contrastive Mixture Learning (CML), which uses MoE to adaptively activate relevant attributes from each representation and distills these mixed features into a unified 3D network; iii) Semantic Mixture Supervision (SMS), which combines semantic logits from multiple representations to boost downstream segmentation performance. Extensive experiments across eleven large-scale LiDAR datasets demonstrate our effectiveness and superiority. The code has been made publicly accessible.

arxiv情報

著者 Xiang Xu,Lingdong Kong,Hui Shuai,Liang Pan,Ziwei Liu,Qingshan Liu
発行日 2025-03-20 13:53:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO | LiMoE: Mixture of LiDAR Representation Learners from Automotive Scenes はコメントを受け付けていません

Asymptotically Optimal Path Planning With an Approximation of the Omniscient Set

投稿日: 2025年3月21日 作成者: jarxiv

要約

急速に発表するランダムツリー（RRT*）の漸近的に最適なバージョンは、高次元構成空間で最適なパスを見つけるためによく使用されます。
RRT*のよく知られた問題は、最適なソリューションへのゆっくりとした収束です。
可能な解決策は、パスのコストを改善できる構成を含むことが知られている構成空間のサブセットからのみランダムサンプルを描画することです（全知セット）。
全容量のセットで全知に近似することにより、速い収束率を達成できます。
この手紙では、全知のセットとそれらの効果的なサンプリングの方法を近似する新しい方法を提案します。
まず、現在の最良のソリューションのセクションで定義されたいくつかの（小さな）ハイパーリプソイドを使用して、全知セットを近似することを提案します。
2番目のアプローチは、現在のソリューションから計算された凸型の船体によって設定された全知に近似します。
どちらのアプローチでも、漸近的な最適性を確保し、一般的なN次元構成空間で機能します。
この実験では、3Dおよび6D構成スペースの複数のシナリオでのアプローチの優れたパフォーマンスが示されています。

要約(オリジナル)

The asymptotically optimal version of Rapidly-exploring Random Tree (RRT*) is often used to find optimal paths in a high-dimensional configuration space. The well-known issue of RRT* is its slow convergence towards the optimal solution. A possible solution is to draw random samples only from a subset of the configuration space that is known to contain configurations that can improve the cost of the path (omniscient set). A fast convergence rate may be achieved by approximating the omniscient with a low-volume set. In this letter, we propose new methods to approximate the omniscient set and methods for their effective sampling. First, we propose to approximate the omniscient set using several (small) hyperellipsoids defined by sections of the current best solution. The second approach approximates the omniscient set by a convex hull computed from the current solution. Both approaches ensure asymptotical optimality and work in a general n-dimensional configuration space. The experiments have shown superior performance of our approaches in multiple scenarios in 3D and 6D configuration spaces.

arxiv情報

著者 Jonáš Kříž,Vojtěch Vonásek
発行日 2025-03-20 14:04:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Asymptotically Optimal Path Planning With an Approximation of the Omniscient Set はコメントを受け付けていません