Narrowing your FOV with SOLiD: Spatially Organized and Lightweight Global Descriptor for FOV-constrained LiDAR Place Recognition

投稿日: 2024年10月3日 作成者: jarxiv

要約

実際のロボットナビゲーションでは、センサーフュージョンやセンサーマウントなどのさまざまな要因により、FOVが制限される状況によく遭遇します。
ただし、FOV が制限されているため、説明の生成が中断され、場所の認識に悪影響が生じます。
したがって、限られた視野での LiDAR ベースの場所認識を使用して、一貫したマップで蓄積されたドリフト誤差を修正することに苦労しています。
したがって、この論文では、狭いFOVシナリオを処理するための堅牢なLiDARベースの場所認識方法を提案します。
提案された方法は、場所を表すために、距離 – 仰角ビンと方位角 – 仰角ビンに基づいて空間構成を確立します。
さらに、垂直方向の情報に基づいて再重み付けを行うことで、堅牢な場所の記述を実現します。
これらの表現に基づいて、私たちの方法は回転の変化に対処し、最初の機首方位を決定することを可能にします。
さらに、ロボットの搭載自律性を実現する軽量かつ高速なアプローチを設計しました。
厳密な検証のために、提案された方法は、さまざまな LiDAR 場所認識シナリオ (つまり、単一セッション、マルチセッション、およびマルチロボット シナリオ) にわたってテストされました。
私たちの知る限り、限られた視野に対処する最初の方法を報告します。
場所の説明とSLAMコードが公開されます。
また、記述子の補足資料は \texttt{\url{https://sites.google.com/view/lidar-solid}} から入手できます。

要約(オリジナル)

We often encounter limited FOV situations due to various factors such as sensor fusion or sensor mount in real-world robot navigation. However, the limited FOV interrupts the generation of descriptions and impacts place recognition adversely. Therefore, we suffer from correcting accumulated drift errors in a consistent map using LiDAR-based place recognition with limited FOV. Thus, in this paper, we propose a robust LiDAR-based place recognition method for handling narrow FOV scenarios. The proposed method establishes spatial organization based on the range-elevation bin and azimuth-elevation bin to represent places. In addition, we achieve a robust place description through reweighting based on vertical direction information. Based on these representations, our method enables addressing rotational changes and determining the initial heading. Additionally, we designed a lightweight and fast approach for the robot’s onboard autonomy. For rigorous validation, the proposed method was tested across various LiDAR place recognition scenarios (i.e., single-session, multi-session, and multi-robot scenarios). To the best of our knowledge, we report the first method to cope with the restricted FOV. Our place description and SLAM codes will be released. Also, the supplementary materials of our descriptor are available at \texttt{\url{https://sites.google.com/view/lidar-solid}}.

arxiv情報

著者 Hogyun Kim,Jiwon Choi,Taehu Sim,Giseop Kim,Younggun Cho
発行日 2024-10-02 08:25:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

ReFeree: Radar-Based Lightweight and Robust Localization using Feature and Free space

投稿日: 2024年10月3日 作成者: jarxiv

要約

場所の認識は、長期にわたる堅牢な自律性を実現する上で重要な役割を果たします。
現実世界のロボットは、広範囲の気象条件 (曇り、大雨、雪など) に直面しており、本質的に可視電磁波内または近距離電磁波内で機能するほとんどのセンサー (カメラ、LiDAR) は悪天候の影響を受けやすいため、信頼性の高い位置特定が困難になります。
。
対照的に、レーダーは環境の変化や天候の影響を受けにくい長い電磁波により注目を集めています。
この研究では、レーダーベースの軽量で堅牢な場所認識を提案します。
1次元のリング状記述を選択することで回転不変性と軽量化を実現し、自由空間と特徴量の逆のノイズ特性を利用して誤検出の影響を軽減することでロバスト性を実現します。
さらに、初期機首方位を推定できるため、オンボード コンピューティングを考慮したオドメトリと登録を組み合わせた SLAM パイプラインの構築に役立ちます。
提案された方法は、さまざまなシナリオ (つまり、単一セッション、複数セッション、さまざまな気象条件) にわたって厳密な検証のためにテストされました。
特に、OORD データセットなどの構造情報が欠如した極限環境の結果を通じて、記述子が信頼性の高い場所認識パフォーマンスを達成していることを検証します。

要約(オリジナル)

Place recognition plays an important role in achieving robust long-term autonomy. Real-world robots face a wide range of weather conditions (e.g. overcast, heavy rain, and snowing) and most sensors (i.e. camera, LiDAR) essentially functioning within or near-visible electromagnetic waves are sensitive to adverse weather conditions, making reliable localization difficult. In contrast, radar is gaining traction due to long electromagnetic waves, which are less affected by environmental changes and weather independence. In this work, we propose a radar-based lightweight and robust place recognition. We achieve rotational invariance and lightweight by selecting a one-dimensional ring-shaped description and robustness by mitigating the impact of false detection utilizing opposite noise characteristics between free space and feature. In addition, the initial heading can be estimated, which can assist in building a SLAM pipeline that combines odometry and registration, which takes into account onboard computing. The proposed method was tested for rigorous validation across various scenarios (i.e. single session, multi-session, and different weather conditions). In particular, we validate our descriptor achieving reliable place recognition performance through the results of extreme environments that lacked structural information such as an OORD dataset.

arxiv情報

著者 Hogyun Kim,Byunghee Choi,Euncheol Choi,Younggun Cho
発行日 2024-10-02 08:33:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

Contact-Implicit Model Predictive Control: Controlling Diverse Quadruped Motions Without Pre-Planned Contact Modes or Trajectories

投稿日: 2024年10月3日 作成者: jarxiv

要約

この論文では、事前定義された接触モード シーケンスや足場位置を使用せずに、複数接触の動きをリアルタイムで発見するための接触暗黙的モデル予測制御 (MPC) フレームワークを紹介します。
このアプローチでは、接触陰的微分動的計画法 (DDP) フレームワークを利用し、ハード接触モデルと線形相補性制約を結合します。
我々は、さまざまな接触モードの探索をさらに進めるために、緩和された相補性制約に基づいた接触インパルスの解析的勾配を提案します。
ハードコンタクトモデルベースのシミュレーションと滑らかな勾配による探索方向の計算を活用することで、私たちの方法論は動的に実現可能な状態軌道、制御入力、接触力を特定し、同時に新しい接触モードシーケンスを明らかにします。
ただし、接触モードの範囲が広がったからといって、必ずしも現実世界への適用性が保証されるわけではありません。
これを認識して、私たちは足の軌道を導き、歩行パターンを作成するために微分可能なコスト項を実装しました。
さらに、MPC 設定における不安定な初期ロールアウトという課題に対処するために、DDP の複数撮影バリアントを採用しています。
提案されたフレームワークの有効性は、重さ 45 kg の HOUND 四足歩行ロボットを使用したシミュレーションと実世界のデモンストレーションを通じて検証され、シミュレーションでさまざまなタスクを実行し、前方速歩や前脚立ち上げ動作を含む実際の実験を紹介します。

要約(オリジナル)

This paper presents a contact-implicit model predictive control (MPC) framework for the real-time discovery of multi-contact motions, without predefined contact mode sequences or foothold positions. This approach utilizes the contact-implicit differential dynamic programming (DDP) framework, merging the hard contact model with a linear complementarity constraint. We propose the analytical gradient of the contact impulse based on relaxed complementarity constraints to further the exploration of a variety of contact modes. By leveraging a hard contact model-based simulation and computation of search direction through a smooth gradient, our methodology identifies dynamically feasible state trajectories, control inputs, and contact forces while simultaneously unveiling new contact mode sequences. However, the broadened scope of contact modes does not always ensure real-world applicability. Recognizing this, we implemented differentiable cost terms to guide foot trajectories and make gait patterns. Furthermore, to address the challenge of unstable initial roll-outs in an MPC setting, we employ the multiple shooting variant of DDP. The efficacy of the proposed framework is validated through simulations and real-world demonstrations using a 45 kg HOUND quadruped robot, performing various tasks in simulation and showcasing actual experiments involving a forward trot and a front-leg rearing motion.

arxiv情報

著者 Gijeong Kim,Dongyun Kang,Joon-Ha Kim,Seungwoo Hong,Hae-Won Park
発行日 2024-10-02 08:55:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

High-Fidelity SLAM Using Gaussian Splatting with Rendering-Guided Densification and Regularized Optimization

投稿日: 2024年10月3日 作成者: jarxiv

要約

私たちは、計量的に正確な姿勢追跡と視覚的に現実的な再構成を提供する 3D ガウス スプラッティングに基づく高密度 RGBD SLAM システムを提案します。
この目的を達成するために、最初に、未観察領域をマッピングし、再観察された領域を洗練するためのレンダリング損失に基づくガウス密度化戦略を提案します。
2 番目に、追加の正則化パラメーターを導入して、連続マッピング問題における忘却の問題を軽減します。この問題では、パラメーターが最新のフレームに過剰適合し、前のフレームのレンダリング品質が低下する傾向があります。
マッピングと追跡は両方とも、微分可能な方法で再レンダリングの損失を最小限に抑えることにより、ガウス パラメーターを使用して実行されます。
最近のニューラルおよび同時に開発されたガウス スプラッティング RGBD SLAM ベースラインと比較して、私たちの方法は合成データセット レプリカで最先端の結果を達成し、現実世界のデータセット TUM で競合する結果を達成します。

要約(オリジナル)

We propose a dense RGBD SLAM system based on 3D Gaussian Splatting that provides metrically accurate pose tracking and visually realistic reconstruction. To this end, we first propose a Gaussian densification strategy based on the rendering loss to map unobserved areas and refine reobserved areas. Second, we introduce extra regularization parameters to alleviate the forgetting problem in the continuous mapping problem, where parameters tend to overfit the latest frame and result in decreasing rendering quality for previous frames. Both mapping and tracking are performed with Gaussian parameters by minimizing re-rendering loss in a differentiable way. Compared to recent neural and concurrently developed gaussian splatting RGBD SLAM baselines, our method achieves state-of-the-art results on the synthetic dataset Replica and competitive results on the real-world dataset TUM.

arxiv情報

著者 Shuo Sun,Malcolm Mielle,Achim J. Lilienthal,Martin Magnusson
発行日 2024-10-02 09:00:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | コメントする

Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy

投稿日: 2024年10月3日 作成者: jarxiv

要約

言語条件付きロボット ポリシーを新しいタスクに一般化することは、依然として大きな課題であり、適切なシミュレーション ベンチマークの欠如が妨げとなっています。
この論文では、視覚言語によるロボット操作ポリシーの一般化能力を評価するための新しいベンチマークである GemBench を紹介することで、このギャップに対処します。
GemBench には、7 つの一般的なアクション プリミティブと 4 つのレベルの一般化が組み込まれており、新しい配置、剛体で多関節のオブジェクト、および長期にわたる複雑なタスクに及びます。
GemBench で最先端のアプローチを評価し、新しい手法も導入します。
私たちのアプローチ 3D-LOTUS は、言語に基づいた行動予測のために豊富な 3D 情報を活用します。
3D-LOTUS は、既知のタスクでは効率とパフォーマンスの両方で優れていますが、新しいタスクでは苦戦します。
これに対処するために、3D-LOTUS++ を紹介します。これは、3D-LOTUS の動作計画機能と、LLM のタスク計画機能および VLM の物体接地精度を統合するフレームワークです。
3D-LOTUS++ は、GemBench の新しいタスクで最先端のパフォーマンスを実現し、ロボット操作の一般化のための新しい標準を設定します。
ベンチマーク、コード、トレーニングされたモデルは \url{https://www.di.ens.fr/willow/research/gembench/} で入手できます。

要約(オリジナル)

Generalizing language-conditioned robotic policies to new tasks remains a significant challenge, hampered by the lack of suitable simulation benchmarks. In this paper, we address this gap by introducing GemBench, a novel benchmark to assess generalization capabilities of vision-language robotic manipulation policies. GemBench incorporates seven general action primitives and four levels of generalization, spanning novel placements, rigid and articulated objects, and complex long-horizon tasks. We evaluate state-of-the-art approaches on GemBench and also introduce a new method. Our approach 3D-LOTUS leverages rich 3D information for action prediction conditioned on language. While 3D-LOTUS excels in both efficiency and performance on seen tasks, it struggles with novel tasks. To address this, we present 3D-LOTUS++, a framework that integrates 3D-LOTUS’s motion planning capabilities with the task planning capabilities of LLMs and the object grounding accuracy of VLMs. 3D-LOTUS++ achieves state-of-the-art performance on novel tasks of GemBench, setting a new standard for generalization in robotic manipulation. The benchmark, codes and trained models are available at \url{https://www.di.ens.fr/willow/research/gembench/}.

arxiv情報

著者 Ricardo Garcia,Shizhe Chen,Cordelia Schmid
発行日 2024-10-02 09:02:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | コメントする

Toward Globally Optimal State Estimation Using Automatically Tightened Semidefinite Relaxations

投稿日: 2024年10月3日 作成者: jarxiv

要約

近年、ロボット工学における一般的な最適化問題の半明確な緩和は、グローバルに最適なソリューションを提供できるため、ますます注目を集めています。
多くの場合、厳密な緩和、つまり全体的な最適性を得るには、特定の手作りの冗長制約が必要であることが示されています。
これらの制約は配合に依存しており、通常は長時間にわたる手動プロセスを通じて特定されます。
その代わりに、本論文では、厳密性を得るのに十分な冗長な制約が存在する場合、それを見つけるための自動方法を提案します。
まず、特定の変数セットが厳密な定式化につながるかどうかを判断するための効率的な実現可能性チェックを提案します。
次に、この方法をより大きなサイズの問題に拡張する方法を示します。
プロセスのどの時点でも、冗長な制約を手動で見つける必要はありません。
シミュレーションおよび実際のデータセット上で、範囲ベースの位置特定とステレオベースの姿勢推定に対するアプローチの有効性を紹介します。
最後に、最近の文献で示されている半定値緩和を再現し、自動手法が常に、以前に考慮されていたものよりもタイト化に十分な小さな制約セットを見つけることを示します。

要約(オリジナル)

In recent years, semidefinite relaxations of common optimization problems in robotics have attracted growing attention due to their ability to provide globally optimal solutions. In many cases, it was shown that specific handcrafted redundant constraints are required to obtain tight relaxations and thus global optimality. These constraints are formulation-dependent and typically identified through a lengthy manual process. Instead, the present paper suggests an automatic method to find a set of sufficient redundant constraints to obtain tightness, if they exist. We first propose an efficient feasibility check to determine if a given set of variables can lead to a tight formulation. Secondly, we show how to scale the method to problems of bigger size. At no point of the process do we have to find redundant constraints manually. We showcase the effectiveness of the approach, in simulation and on real datasets, for range-based localization and stereo-based pose estimation. Finally, we reproduce semidefinite relaxations presented in recent literature and show that our automatic method always finds a smaller set of constraints sufficient for tightness than previously considered.

arxiv情報

著者 Frederike Dümbgen,Connor Holmes,Ben Agro,Timothy D. Barfoot
発行日 2024-10-02 09:31:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

3D Uncertain Implicit Surface Mapping using GMM and GP

投稿日: 2024年10月3日 作成者: jarxiv

要約

この研究では、ノイズが多く不完全な LiDAR スキャン データから導出された、不確実な表面を正確に表現する連続 3 次元 (3D) モデルを構築するという課題に取り組みます。
構造化された建築モデルにガウス プロセス (GP) とガウス混合モデル (GMM) を利用した以前の研究に基づいて、GMM 回帰と微分観測による GP が適用される、都市シーンの複雑な表面に合わせたより一般化されたアプローチを導入します。
。
階層型 GMM (HGMM) を使用して、GMM コンポーネントの数を最適化し、GMM トレーニングを高速化します。
HGMM から取得した事前マップを使用して、GP 推論に従って最終マップを改良します。
私たちのアプローチは、地理オブジェクトの暗黙的な表面をモデル化し、測定によって完全にはカバーされていない領域の推論を可能にします。
GMM と GP を統合すると、表面モデルとともに適切に校正された不確実性が得られ、精度と信頼性の両方が向上します。
提案された方法は、モバイルマッピングシステムによって収集された実際のデータに基づいて評価されます。
他の最先端の手法のマッピング精度と不確実性の定量化のパフォーマンスと比較して、提案された手法は、評価されたデータセットの RMSE が低く、対数尤度値が高く、計算コストが低くなります。

要約(オリジナル)

In this study, we address the challenge of constructing continuous three-dimensional (3D) models that accurately represent uncertain surfaces, derived from noisy and incomplete LiDAR scanning data. Building upon our prior work, which utilized the Gaussian Process (GP) and Gaussian Mixture Model (GMM) for structured building models, we introduce a more generalized approach tailored for complex surfaces in urban scenes, where GMM Regression and GP with derivative observations are applied. A Hierarchical GMM (HGMM) is employed to optimize the number of GMM components and speed up the GMM training. With the prior map obtained from HGMM, GP inference is followed for the refinement of the final map. Our approach models the implicit surface of the geo-object and enables the inference of the regions that are not completely covered by measurements. The integration of GMM and GP yields well-calibrated uncertainties alongside the surface model, enhancing both accuracy and reliability. The proposed method is evaluated on real data collected by a mobile mapping system. Compared to the performance in mapping accuracy and uncertainty quantification of other state-of-the-art methods, the proposed method achieves lower RMSEs, higher log-likelihood values and lower computational costs for the evaluated datasets.

arxiv情報

著者 Qianqian Zou,Monika Sester
発行日 2024-10-02 09:50:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

A Parallel-in-Time Newton’s Method for Nonlinear Model Predictive Control

投稿日: 2024年10月3日 作成者: jarxiv

要約

モデル予測制御 (MPC) は、動的システムを最適に制御するための強力なフレームワークです。
ただし、MPC ソルバーは計算負荷が高く、サンプリング周波数が低いシステムへの適用が制限されます。
この問題は、反復手順内で MPC ソルバーをネストする必要がある非線形および制約のあるシステムではさらに増幅されます。
この論文では、超並列ハードウェアを利用して計画期間全体にわたって対数的な計算時間スケーリングを実現する、制約付き非線形最適化問題用の並列インタイム アルゴリズムを開発することで、これらの問題に対処します。
私たちは、内点法と乗算器の交互方向法に基づいた時間並列 2 次ソルバーを開発し、高速収束と反復あたりの計算コストの削減を活用します。
並列化は、連想スキャン アルゴリズムを使用して並列化できる連想演算に関する部分問題の再定式化に基づいています。
非線形および拘束力学システムの数値例に対するアプローチを検証します。

要約(オリジナル)

Model predictive control (MPC) is a powerful framework for optimal control of dynamical systems. However, MPC solvers suffer from a high computational burden that restricts their application to systems with low sampling frequency. This issue is further amplified in nonlinear and constrained systems that require nesting MPC solvers within iterative procedures. In this paper, we address these issues by developing parallel-in-time algorithms for constrained nonlinear optimization problems that take advantage of massively parallel hardware to achieve logarithmic computational time scaling over the planning horizon. We develop time-parallel second-order solvers based on interior point methods and the alternating direction method of multipliers, leveraging fast convergence and lower computational cost per iteration. The parallelization is based on a reformulation of the subproblems in terms of associative operations that can be parallelized using the associative scan algorithm. We validate our approach on numerical examples of nonlinear and constrained dynamical systems.

arxiv情報

著者 Casian Iacob,Hany Abdulsamad,Simo Särkkä
発行日 2024-10-02 10:08:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY, math.OC | コメントする

WiFi-CSI Sensing and Bearing Estimation in Multi-Robot Systems: An Open-Source Simulation Framework

投稿日: 2024年10月3日 作成者: jarxiv

要約

無線信号ベースのセンシングを採用したマルチロボット システムの開発とテストには、チャネル モニタリング WiFi トランシーバーなどの適切なハードウェアへのアクセスが必要ですが、これには重大な制限が生じる可能性があります。
Jadhav らによって導入された WiFi Sensor for Robotics (WSR) ツールボックス。
2022 年に、WiFi チャネル状態情報 (CSI) を使用してロボット間の相対方位を計算する新しいソリューションを提供します。
このツールボックスは WiFi 信号の振幅と位相を活用し、移動ロボットの動きを利用して仮想アンテナ アレイを作成するため、物理的なアンテナ アレイが不要になります。
しかし、WSR ツールボックスは時代遅れの WiFi トランシーバー ハードウェアに依存しているため、操作性とアクセスしやすさが制限されており、関連ツールの広範なアプリケーションや開発が妨げられています。
Gazebo と Matlab を使用して WSR ツールボックスの機能を再現するオープンソース シミュレーション フレームワークを紹介します。
WiFi-CSI データ収集をシミュレートすることで、当社のフレームワークは WSR ツールボックスを備えたモバイル ロボットの動作をエミュレートし、物理的なハードウェアを使用せずに正確な方位推定を可能にします。
私たちは、シミュレートされた Turtlebot3 ロボットと実際の Turtlebot3 ロボットの両方を用いた実験を通じてフレームワークを検証し、取得された CSI データと結果として得られる方位推定値がほぼ一致していることを示しました。
この作品は、物理ハードウェアに依存せずに WiFi-CSI ベースのマルチロボット ローカリゼーションを開発およびテストするための仮想環境を提供します。
すべてのコードと実験セットアップ情報は、https://github.com/BrendanxP/CSI-Simulation-Framework で公開されています。

要約(オリジナル)

Development and testing of multi-robot systems employing wireless signal-based sensing requires access to suitable hardware, such as channel monitoring WiFi transceivers, which can pose significant limitations. The WiFi Sensor for Robotics (WSR) toolbox, introduced by Jadhav et al. in 2022, provides a novel solution by using WiFi Channel State Information (CSI) to compute relative bearing between robots. The toolbox leverages the amplitude and phase of WiFi signals and creates virtual antenna arrays by exploiting the motion of mobile robots, eliminating the need for physical antenna arrays. However, the WSR toolbox’s reliance on an obsoleting WiFi transceiver hardware has limited its operability and accessibility, hindering broader application and development of relevant tools. We present an open-source simulation framework that replicates the WSR toolbox’s capabilities using Gazebo and Matlab. By simulating WiFi-CSI data collection, our framework emulates the behavior of mobile robots equipped with the WSR toolbox, enabling precise bearing estimation without physical hardware. We validate the framework through experiments with both simulated and real Turtlebot3 robots, showing a close match between the obtained CSI data and the resulting bearing estimates. This work provides a virtual environment for developing and testing WiFi-CSI-based multi-robot localization without relying on physical hardware. All code and experimental setup information are publicly available at https://github.com/BrendanxP/CSI-Simulation-Framework

arxiv情報

著者 Brendan Dijkstra,Ninad Jadhav,Alex Sloot,Matteo Marcantoni,Bayu Jayawardhana,Stephanie Gil,Bahar Haghighat
発行日 2024-10-02 10:18:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | コメントする

CyberCortex.AI: An AI-based Operating System for Autonomous Robotics and Complex Automation

投稿日: 2024年10月3日 作成者: jarxiv

要約

自律ロボットと複雑な自動化アプリケーションを制御するための基礎となるフレームワークは、認識および制御タスクをスケジュールできるほか、他のロボット ピアやリモート クラウド コンピューターにリアルタイム データ通信を提供できるオペレーティング システム (OS) です。
このペーパーでは、異種 AI ベースのロボット工学と複雑な自動化アプリケーションを可能にするように設計されたロボット OS である Cyber​​Cortex AI を紹介します。
Cyber​​Cortex AI は、ロボット同士やクラウド上の高性能コンピューター (HPC) との通信を可能にする分散型 OS です。
ロボットからの感覚データと制御データは、AI アルゴリズムをトレーニングする目的で HPC システムにストリーミングされ、その後ロボットに展開されます。
ロボットの各機能 (例: 感覚データの取得、経路計画、動作制御など) は、インターネットを通じて共有されるいわゆるフィルターのデータブロック内で実行されます。各フィルターはロボット自体でローカルに、またはリモートで計算されます。
別のロボットシステム。
データは、各フィルターの入力と出力の間のゲートウェイとして機能する、いわゆる一時アドレス指定可能メモリー (TAM) を介して保存され、アクセスされます。
Cyber​​Cortex.AI には 2 つの主要コンポーネントがあります。i) Cyber​​Cortex AI 推論シ​​ステム (ロボットの組み込みハードウェア上で実行される DataBlock のリアルタイム実装です)、ii) Cyber​​Cortex AI dojo (HPC コンピューター上で実行されます)
AI アルゴリズムの設計、トレーニング、展開に使用されます。
我々は、2 つの協調ロボット アプリケーションを使用した、提案されたアプローチの定量的および定性的なパフォーマンス分析を示します。i) Unitree A1 脚ロボットと Anafi Parrot 4K ドローンに基づく森林火災予防システム、および ii) を使用する自律運転システム
Cyber​​Cortex.AI は協調的な知覚とモーション制御を実現します。

要約(オリジナル)

The underlying framework for controlling autonomous robots and complex automation applications are Operating Systems (OS) capable of scheduling perception-and-control tasks, as well as providing real-time data communication to other robotic peers and remote cloud computers. In this paper, we introduce CyberCortex AI, a robotics OS designed to enable heterogeneous AI-based robotics and complex automation applications. CyberCortex AI is a decentralized distributed OS which enables robots to talk to each other, as well as to High Performance Computers (HPC) in the cloud. Sensory and control data from the robots is streamed towards HPC systems with the purpose of training AI algorithms, which are afterwards deployed on the robots. Each functionality of a robot (e.g. sensory data acquisition, path planning, motion control, etc.) is executed within a so-called DataBlock of Filters shared through the internet, where each filter is computed either locally on the robot itself, or remotely on a different robotic system. The data is stored and accessed via a so-called Temporal Addressable Memory (TAM), which acts as a gateway between each filter’s input and output. CyberCortex.AI has two main components: i) the CyberCortex AI inference system, which is a real-time implementation of the DataBlock running on the robots’ embedded hardware, and ii) the CyberCortex AI dojo, which runs on an HPC computer in the cloud, and it is used to design, train and deploy AI algorithms. We present a quantitative and qualitative performance analysis of the proposed approach using two collaborative robotics applications: i) a forest fires prevention system based on an Unitree A1 legged robot and an Anafi Parrot 4K drone, as well as ii) an autonomous driving system which uses CyberCortex.AI for collaborative perception and motion control.

arxiv情報

著者 Sorin Grigorescu,Mihai Zaha
発行日 2024-10-02 11:11:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.OS, cs.RO | コメントする