PO-MSCKF: An Efficient Visual-Inertial Odometry by Reconstructing the Multi-State Constrained Kalman Filter with the Pose-only Theory

投稿日: 2024年7月3日 作成者: jarxiv

要約

効率的な視覚慣性オドメトリ (VIO) は、ペイロードに制約のあるロボットにとって非常に重要です。
最新の最適化ベースのアルゴリズムは優れた精度を実現していますが、MSCKF ベースの VIO アルゴリズムは、その効率的で一貫したパフォーマンスのために依然として広く求められています。
MSCKF は従来のマルチビュー ジオメトリに基づいて構築されているため、測定された残差は状態エラーだけでなく、フィーチャの位置エラーにも関連します。
EKF フュージョンを適用するには、観測モデルから特徴位置エラーを除去するための投影プロセスが必要ですが、これはモデルと精度の低下につながる可能性があります。
モデルの一貫性を維持しながら効率的な視覚慣性融合モデ​​ルを取得するために、新しい Pose-Only (PO) マルチビュー ジオメトリ記述を使用して MSCKF VIO を再構成することを提案します。
新しく構築されたフィルターでは、PO 再投影残差をモデル化しました。これは運動状態のみに関連するため、空間投影の要件を克服します。
さらに、新しいフィルターは特徴の位置情報を必要としないため、3D 再構成手順によってもたらされる計算コストと線形化誤差が除去されます。
複数のデータセットに対して包括的な実験を実施し、提案された手法により、困難なシーケンスにおいて精度の向上と一貫したパフォーマンスが示されました。

要約(オリジナル)

Efficient Visual-Inertial Odometry (VIO) is crucial for payload-constrained robots. Though modern optimization-based algorithms have achieved superior accuracy, the MSCKF-based VIO algorithms are still widely demanded for their efficient and consistent performance. As MSCKF is built upon the conventional multi-view geometry, the measured residuals are not only related to the state errors but also related to the feature position errors. To apply EKF fusion, a projection process is required to remove the feature position error from the observation model, which can lead to model and accuracy degradation. To obtain an efficient visual-inertial fusion model, while also preserving the model consistency, we propose to reconstruct the MSCKF VIO with the novel Pose-Only (PO) multi-view geometry description. In the newly constructed filter, we have modeled PO reprojection residuals, which are solely related to the motion states and thus overcome the requirements of space projection. Moreover, the new filter does not require any feature position information, which removes the computational cost and linearization errors brought in by the 3D reconstruction procedure. We have conducted comprehensive experiments on multiple datasets, where the proposed method has shown accuracy improvements and consistent performance in challenging sequences.

arxiv情報

著者 Du Xueyu,Zhang Lilian,Liu Ruochen,Wang Maosong,Wu Wenqi,Mao Jun
発行日 2024-07-02 02:18:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | コメントする

Refined Motion Compensation with Soft Laser Manipulators using Data-Driven Surrogate Models

投稿日: 2024年7月3日 作成者: jarxiv

要約

精密な熱技術である非接触レーザーアブレーションは、硬い針に伴う挿入エラーを起こすことなく、組織の切断と凝固を同時に行います。
肝臓などの人間の臓器の動きは、呼吸周期や心臓周期の影響を受けるリズミカルな要素を示しているため、腫瘍の動きを補償しながら、標的病変に効果的にレーザーエネルギーを送達することが極めて重要です。
この研究では、ソフト マニピュレータの代理モデルを導出するデータ駆動型の手法を導入します。
これらの低次元モデルは、モデル予測制御 (MPC) フレームワークに統合された場合に計算効率を向上させながら、制御入力の有無にかかわらずマニピュレーターのダイナミクスをキャプチャします。
スペクトル部分多様体 (SSM) 理論は、マニピュレーターの自律的なダイナミクスをモデル化し、外力が除去されると平衡に達する傾向を認識しています。
予備的な結果は、サロゲート モデルを使用する MPC コントローラーが、同じ MPC フレームワーク内の他の 2 つのモデルよりも優れていることを示しています。
データ駆動型 MPC コントローラーは、設計に依存しない機能もサポートしており、レーザー アブレーション手術ロボット システム内でさまざまなソフト マニピュレーターの互換性が可能です。

要約(オリジナル)

Non-contact laser ablation, a precise thermal technique, simultaneously cuts and coagulates tissue without the insertion errors associated with rigid needles. Human organ motions, such as those in the liver, exhibit rhythmic components influenced by respiratory and cardiac cycles, making effective laser energy delivery to target lesions while compensating for tumor motion crucial. This research introduces a data-driven method to derive surrogate models of a soft manipulator. These low-dimensional models offer computational efficiency when integrated into the Model Predictive Control (MPC) framework, while still capturing the manipulator’s dynamics with and without control input. Spectral Submanifolds (SSM) theory models the manipulator’s autonomous dynamics, acknowledging its tendency to reach equilibrium when external forces are removed. Preliminary results show that the MPC controller using the surrogate model outperforms two other models within the same MPC framework. The data-driven MPC controller also supports a design-agnostic feature, allowing the interchangeability of different soft manipulators within the laser ablation surgery robot system.

arxiv情報

著者 Yongjun Yan,Qingpeng Ding,Mingwu Li,Junyan Yan,Shing Shin Cheng
発行日 2024-07-02 02:22:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | コメントする

Learning Granular Media Avalanche Behavior for Indirectly Manipulating Obstacles on a Granular Slope

投稿日: 2024年7月3日 作成者: jarxiv

要約

砂の斜面での脚式ロボットの移動は、粒状媒体の複雑な力学と、固体表面の欠如が移動の妨げとなる可能性があるため、困難です。
オバケガニや自然界の他の生物からヒントを得た有望な戦略は、岩、瓦礫、その他の障害物と戦略的に相互作用して移動を促進することです。
脚式ロボットにこの機能を提供するために、雪崩力学を利用して粒度の高い斜面上の物体を間接的に操作する新しいアプローチを提案します。
ビジョン トランスフォーマー (ViT) を使用して、粒度の高いダイナミクスとロボットの掘削アクションの画像表現を処理します。
ViT はオブジェクトの動きを予測し、それを使用してどの脚の掘削アクションを実行するかを決定します。
私たちは 100 回の実際の物理試験からトレーニング データを収集し、テスト時にトレーニング済みのモデルを新しい設定に展開します。
実験結果は、私たちのモデルが物体の動きを正確に予測し、最大 4 つの障害物を伴うさまざまな操作タスクで成功率 $\geq 80\%$ を達成でき、また、異なる物理特性を持つ物体にも一般化できることを示唆しています。
私たちの知る限り、これは粒状媒体雪崩ダイナミクスを利用して粒状斜面上のオブジェクトを間接的に操作する最初の論文です。
補足資料は https://sites.google.com/view/gran-corl2024/home で入手できます。

要約(オリジナル)

Legged robot locomotion on sand slopes is challenging due to the complex dynamics of granular media and how the lack of solid surfaces can hinder locomotion. A promising strategy, inspired by ghost crabs and other organisms in nature, is to strategically interact with rocks, debris, and other obstacles to facilitate movement. To provide legged robots with this ability, we present a novel approach that leverages avalanche dynamics to indirectly manipulate objects on a granular slope. We use a Vision Transformer (ViT) to process image representations of granular dynamics and robot excavation actions. The ViT predicts object movement, which we use to determine which leg excavation action to execute. We collect training data from 100 real physical trials and, at test time, deploy our trained model in novel settings. Experimental results suggest that our model can accurately predict object movements and achieve a success rate $\geq 80\%$ in a variety of manipulation tasks with up to four obstacles, and can also generalize to objects with different physics properties. To our knowledge, this is the first paper to leverage granular media avalanche dynamics to indirectly manipulate objects on granular slopes. Supplementary material is available at https://sites.google.com/view/grain-corl2024/home.

arxiv情報

著者 Haodi Hu,Feifei Qian,Daniel Seita
発行日 2024-07-02 02:46:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

Residual-MPPI: Online Policy Customization for Continuous Control

投稿日: 2024年7月3日 作成者: jarxiv

要約

強化学習 (RL) と模倣学習 (IL) を通じて学習されたポリシーは、継続的な制御タスクで高度なパフォーマンスを達成する上で大きな可能性を示しています。
ただし、現実の環境では、元のトレーニング段階では予期せなかった追加の要件がある場合、トレーニング済みのポリシーをさらにカスタマイズすることが必要になることがよくあります。
新しい要件を満たすようにポリシーを微調整することは可能ですが、多くの場合、追加された要件を含む新しいデータを収集し、元のトレーニング メトリックとポリシー パラメーターにアクセスする必要があります。
対照的に、オンライン計画アルゴリズムは、追加の要件を満たすことができれば、大規模なトレーニング フェーズの必要性を排除し、元のトレーニング スキームやタスクの知識がなくてもポリシーをカスタマイズできます。
この研究では、Residual-MPPI と呼ばれる、実行時に継続制御ポリシーをカスタマイズするための汎用オンライン プランニング アルゴリズムを提案します。
少数ショットやゼロショットのオンライン設定でも、新しいパフォーマンス指標に基づいて特定の以前のポリシーをカスタマイズできます。
また、Residual-MPPI では、元のタスクに関する追加の知識がなくても、前のポリシーによって生成されたアクション配布へのアクセスのみが必要です。
私たちの実験を通じて、提案された Residual-MPPI アルゴリズムが、チャンピオン レベルのレーシング エージェントであるグランツーリスモ ソフィー (GT Sophy) 1.0 のカスタマイズを含む、少数ショット/ゼロショットのオンライン ポリシー カスタマイズ タスクを効果的に達成できることを実証しました。
カーレースシナリオ、グランツーリスモスポーツ（GTS）環境。
デモビデオは当社のウェブサイトでご覧いただけます: https://sites.google.com/view/residual-mppi

要約(オリジナル)

Policies learned through Reinforcement Learning (RL) and Imitation Learning (IL) have demonstrated significant potential in achieving advanced performance in continuous control tasks. However, in real-world environments, it is often necessary to further customize a trained policy when there are additional requirements that were unforeseen during the original training phase. It is possible to fine-tune the policy to meet the new requirements, but this often requires collecting new data with the added requirements and access to the original training metric and policy parameters. In contrast, an online planning algorithm, if capable of meeting the additional requirements, can eliminate the necessity for extensive training phases and customize the policy without knowledge of the original training scheme or task. In this work, we propose a generic online planning algorithm for customizing continuous-control policies at the execution time which we call Residual-MPPI. It is able to customize a given prior policy on new performance metrics in few-shot and even zero-shot online settings. Also, Residual-MPPI only requires access to the action distribution produced by the prior policy, without additional knowledge regarding the original task. Through our experiments, we demonstrate that the proposed Residual-MPPI algorithm can accomplish the few-shot/zero-shot online policy customization task effectively, including customizing the champion-level racing agent, Gran Turismo Sophy (GT Sophy) 1.0, in the challenging car racing scenario, Gran Turismo Sport (GTS) environment. Demo videos are available on our website: https://sites.google.com/view/residual-mppi

arxiv情報

著者 Pengcheng Wang,Chenran Li,Catherine Weaver,Kenta Kawamoto,Masayoshi Tomizuka,Chen Tang,Wei Zhan
発行日 2024-07-02 03:56:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

Geometrically Modulable Gait Design for Quadrupeds

投稿日: 2024年7月3日 作成者: jarxiv

要約

小型脚ロボットは搭載された計算と制御によって制約を受けるため、 \emph{周期的作動または歩行} (普遍的なロボット制御パラダイム) を誘導された平均的な移動運動に結び付ける、第一原理に基づくシンプルな幾何学モデルの必要性が生じています。
この論文では、幾何学力学のツールを使用して、滑りのない状態で大の字に広がった平面四足歩行システムのための \emph{モジュール可能な 2 ビート歩行設計フレームワーク}を開発します。
標準的な 2 拍歩容を、相互に排他的な形状部分空間内の固有の部分歩容に縮小します。
サブゲイトは、四肢が地面に接触しているときの運動立脚相と、四肢が接触せずにリセットされる非運動性の瞬間的な遊脚相によって特徴付けられます。
立脚段階では、接触している手足が 4 つのバーの機構を形成します。
その後の移動を分析するために、次のツールを開発します: (a) 滑り止め作動を生成するベクトル場、(b) ローカル接続としての 4 つのバー機構の運動学、(c) 運動学と運動学を組み合わせた層別パネル
拘束された作動により、スタンススイングサブ歩行サイクルによって生成されるシステムの位置の正味の変化をエンコードします。
次に、分離されたサブ歩容は、形状変化ベースの流れを使用して独立して設計され、適切な位相と組み合わされて 2 拍歩容が生成されます。
さらに、「スケーリング」および「スライディング」制御入力を導入して、歩行時間における四足歩行システムのグローバル軌道を継続的に調整します。これにより、制御入力を使用したサイクル平均速度、方向、およびステアリング制御を実証します。
したがって、このフレームワークは、複雑でない開ループ歩行計画を作成したり、限られたリソースでロボットのスケジュールを取得したりして、自律制御の実現に近づける可能性を秘めています。

要約(オリジナル)

Miniature-legged robots are constrained by their onboard computation and control, thus motivating the need for simple, first-principles-based geometric models that connect \emph{periodic actuation or gaits} (a universal robot control paradigm) to the induced average locomotion. In this paper, we develop a \emph{modulable two-beat gait design framework} for sprawled planar quadrupedal systems under the no-slip using tools from geometric mechanics. We reduce standard two-beat gaits into unique subgaits in mutually exclusive shape subspaces. Subgaits are characterized by a locomotive stance phase when limbs are in ground contact and a non-locomotive, instantaneous swing phase where the limbs are reset without contact. During the stance phase, the contacting limbs form a four-bar mechanism. To analyze the ensuing locomotion, we develop the following tools: (a) a vector field to generate nonslip actuation, (b) the kinematics of a four-bar mechanism as a local connection, and (c) stratified panels that combine the kinematics and constrained actuation to encode the net change in the system’s position generated by a stance-swing subgait cycle. Decoupled subgaits are then designed independently using flows on the shape-change basis and are combined with appropriate phasing to produce a two-beat gait. Further, we introduce “scaling’ and “sliding’ control inputs to continuously modulate the global trajectories of the quadrupedal system in gait time through which we demonstrate cycle-average speed, direction, and steering control using the control inputs. Thus, this framework has the potential to create uncomplicated open-loop gait plans or gain schedules for robots with limited resources, bringing them closer to achieving autonomous control.

arxiv情報

著者 Hari Krishna Hari Prasad,Ross L. Hatton,Kaushik Jayaram
発行日 2024-07-02 04:38:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | コメントする

LDP: A Local Diffusion Planner for Efficient Robot Navigation and Collision Avoidance

投稿日: 2024年7月3日 作成者: jarxiv

要約

条件付き拡散モデルは、ポリシーの条件付き分布を正確にモデル化するための進歩により、ロボット ポリシーを学習するための効率的なツールとして実証されています。
動的障害物や迷路のような構造によって特徴づけられる現実世界のシナリオの複雑な性質は、条件付き分布問題としてのロボットのローカル ナビゲーションの意思決定の複雑さを強調しています。
それにもかかわらず、ロボットのローカル ナビゲーションに普及モデルを活用することは簡単ではなく、未調査のいくつかの課題に直面します。(1) データの緊急性。
ローカル ナビゲーションにおける複雑な条件付き配信には、現実世界の多様なシナリオにおける多様なポリシーを含めるためのトレーニング データが必要です。
(2) 近視観察。
認識シナリオが多様であるため、ロボットには先見性が欠けていることが多いため、ロボットのローカルな視点に基づいた拡散の決定は、タスク全体を完了する上で最適ではないことが判明する可能性があります。
迂回が必要な特定のシナリオでは、ロボットが閉じ込められる可能性があります。
これらの問題に対処するために、私たちのアプローチは、グローバルとローカルの統合された洞察に基づいたターゲット選択を通じて、異なる選好を示す複数のエージェントを包含する多様なデータ生成メカニズムの探索から始まります。
次に、この多様なトレーニング データに基づいて、さまざまなシナリオで優れた衝突回避が可能な拡散エージェントが取得されます。
その後、地球規模の観測を軽量な方法で組み込むことにより、ローカル拡散プランナー (LDP としても知られる) を強化します。
この機能強化により、LDP の観測範囲が広がり、局所最適化に陥るリスクが効果的に軽減され、より堅牢なナビゲーション決定が促進されます。

要約(オリジナル)

The conditional diffusion model has been demonstrated as an efficient tool for learning robot policies, owing to its advancement to accurately model the conditional distribution of policies. The intricate nature of real-world scenarios, characterized by dynamic obstacles and maze-like structures, underscores the complexity of robot local navigation decision-making as a conditional distribution problem. Nevertheless, leveraging the diffusion model for robot local navigation is not trivial and encounters several under-explored challenges: (1) Data Urgency. The complex conditional distribution in local navigation needs training data to include diverse policy in diverse real-world scenarios; (2) Myopic Observation. Due to the diversity of the perception scenarios, diffusion decisions based on the local perspective of robots may prove suboptimal for completing the entire task, as they often lack foresight. In certain scenarios requiring detours, the robot may become trapped. To address these issues, our approach begins with an exploration of a diverse data generation mechanism that encompasses multiple agents exhibiting distinct preferences through target selection informed by integrated global-local insights. Then, based on this diverse training data, a diffusion agent is obtained, capable of excellent collision avoidance in diverse scenarios. Subsequently, we augment our Local Diffusion Planner, also known as LDP by incorporating global observations in a lightweight manner. This enhancement broadens the observational scope of LDP, effectively mitigating the risk of becoming ensnared in local optima and promoting more robust navigational decisions.

arxiv情報

著者 Wenhao Yu,Jie Peng,Huanyu Yang,Junrui Zhang,Yifan Duan,Jianmin Ji,Yanyong Zhang
発行日 2024-07-02 04:53:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | コメントする

Cloud-Edge-Terminal Collaborative AIGC for Autonomous Driving

投稿日: 2024年7月3日 作成者: jarxiv

要約

動的な自動運転環境では、人工知能生成コンテンツ (AIGC) テクノロジーは、モデルの生成機能と予測機能を活用することで車両の認識と意思決定を補うことができ、動作計画、軌道予測、交通シミュレーションを強化する可能性があります。
この記事では、自動運転のための AIGC をサポートするためのクラウド エッジ ターミナルの協調アーキテクチャを提案します。
この記事では、AIGC サービスの独自の特性を掘り下げることで、AIGC サービスをサポートするための通信、ストレージ、および計算リソースの割り当てスキームや、システム設計とリソースを支援するための AIGC の活用など、相互にサポートする AIGC および自動運転用ネットワーク システムを構築する試みを開始します。
管理。

要約(オリジナル)

In dynamic autonomous driving environment, Artificial Intelligence-Generated Content (AIGC) technology can supplement vehicle perception and decision making by leveraging models’ generative and predictive capabilities, and has the potential to enhance motion planning, trajectory prediction and traffic simulation. This article proposes a cloud-edge-terminal collaborative architecture to support AIGC for autonomous driving. By delving into the unique properties of AIGC services, this article initiates the attempts to construct mutually supportive AIGC and network systems for autonomous driving, including communication, storage and computation resource allocation schemes to support AIGC services, and leveraging AIGC to assist system design and resource management.

arxiv情報

著者 Jianan Zhang,Zhiwei Wei,Boxun Liu,Xiayi Wang,Yong Yu,Rongqing Zhang
発行日 2024-07-02 05:18:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | コメントする

Behavior Forests: Real-Time Discovery of Dynamic Behavior for Data Selection

投稿日: 2024年7月3日 作成者: jarxiv

要約

自動運転システム (ADS) の開発は、現実世界の車両データの活用に依存しています。
最新の車両によって生成されるデータの量には、送信、ストレージ、および計算上の課題があります。
動的動作 (DB) に焦点を当てることは、ADS 機能に関連する情報と無関係な情報を区別し、それによってデータを削減するための有望なアプローチを提供します。
時系列パターン認識は、車両の運転動作の時間的コンテキストを分析できるため、このタスクに有益です。
しかし、既存の最先端の方法には、可変長パターンを識別したり、発見されたパターンの分析的記述を提供したりするための適応性が欠けていることがよくあります。
この寄稿では、車両の動作中に挙動グラフを構築することで、事前トレーニングなしで分析的な記述を容易にする、リアルタイムのデータ選択のための挙動フォレスト フレームワークを提案しています。
この方法は、合成的に生成された心電図データセットを使用してそのパフォーマンスを実証します。
自動車の時系列データ セットは、データ削減機能を評価するために使用されます。この方法では、関連する DB は含まれたままで、受信データ ストリームの 96.01% が破棄されました。

要約(オリジナル)

Automated Driving Systems (ADS) development relies on utilizing real-world vehicle data. The volume of data generated by modern vehicles presents transmission, storage, and computational challenges. Focusing on Dynamic Behavior (DB) offers a promising approach to distinguish relevant from irrelevant information for ADS functionalities, thereby reducing data. Time series pattern recognition is beneficial for this task as it can analyze the temporal context of vehicle driving behavior. However, existing state-of-the-art methods often lack the adaptability to identify variable-length patterns or provide analytical descriptions of discovered patterns. This contribution proposes a Behavior Forest framework for real-time data selection by constructing a Behavior Graph during vehicle operation, facilitating analytical descriptions without pre-training. The method demonstrates its performance using a synthetically generated and electrocardiogram data set. An automotive time series data set is used to evaluate the data reduction capabilities, in which this method discarded 96.01% of the incoming data stream, while relevant DB remain included.

arxiv情報

著者 Philipp Reis,Philipp Rigoll
発行日 2024-07-02 07:27:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, eess.SP | コメントする

Natural Language Can Help Bridge the Sim2Real Gap

投稿日: 2024年7月3日 作成者: jarxiv

要約

画像条件付きロボット ポリシーを学習する際の主な課題は、低レベルの制御に役立つ視覚的表現を取得することです。
画像空間は高次元であるため、適切な視覚表現を学習するには、かなりの量の視覚データが必要です。
ただし、現実世界で学習する場合、データは高価です。
Sim2Real は、シミュレーターを使用してターゲット タスクに密接に関連する大量の安価なデータを収集することで、現実世界のターゲット ドメインにおけるデータ不足を克服するための有望なパラダイムです。
ただし、ドメインが視覚的に非常に似ていない場合、画像条件付きポリシーをシミュレーションから現実に移行するのは困難です。
sim2real の視覚的なギャップを埋めるために、根底にあるタスク関連のセマンティクスを捉えるドメイン全体の統一信号として画像の自然言語記述を使用することを提案します。
私たちの重要な洞察は、異なるドメインからの 2 つの画像観察が同様の言語でラベル付けされている場合、ポリシーは両方の画像に対して同様のアクション分布を予測するはずであるということです。
我々は、シミュレーションや実際の画像の言語記述や記述間の距離を予測するために画像エンコーダをトレーニングすることが、ドメイン不変の画像表現の学習に役立つ有用でデータ効率の高い事前トレーニングステップとして機能することを実証します。
この画像エンコーダを、大量のシミュレーションと少数の実際のデモンストレーションで同時にトレーニングされる IL ポリシーのバックボーンとして使用できます。
私たちのアプローチは、広く使用されている以前の sim2real メソッドや、CLIP や R3M などの強力なビジョン言語事前トレーニング ベースラインよりも 25 ～ 40% 優れています。
https://robin-lab.cs.utexas.edu/lang4sim2real/ で追加のビデオと資料をご覧ください。

要約(オリジナル)

The main challenge in learning image-conditioned robotic policies is acquiring a visual representation conducive to low-level control. Due to the high dimensionality of the image space, learning a good visual representation requires a considerable amount of visual data. However, when learning in the real world, data is expensive. Sim2Real is a promising paradigm for overcoming data scarcity in the real-world target domain by using a simulator to collect large amounts of cheap data closely related to the target task. However, it is difficult to transfer an image-conditioned policy from sim to real when the domains are very visually dissimilar. To bridge the sim2real visual gap, we propose using natural language descriptions of images as a unifying signal across domains that captures the underlying task-relevant semantics. Our key insight is that if two image observations from different domains are labeled with similar language, the policy should predict similar action distributions for both images. We demonstrate that training the image encoder to predict the language description or the distance between descriptions of a sim or real image serves as a useful, data-efficient pretraining step that helps learn a domain-invariant image representation. We can then use this image encoder as the backbone of an IL policy trained simultaneously on a large amount of simulated and a handful of real demonstrations. Our approach outperforms widely used prior sim2real methods and strong vision-language pretraining baselines like CLIP and R3M by 25 to 40%. See additional videos and materials at https://robin-lab.cs.utexas.edu/lang4sim2real/.

arxiv情報

著者 Albert Yu,Adeline Foote,Raymond Mooney,Roberto Martín-Martín
発行日 2024-07-02 07:29:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CV, cs.LG, cs.RO, I.2.6 | コメントする

Trajectory Tracking for UAVs: An Interpolating Control Approach

投稿日: 2024年7月3日 作成者: jarxiv

要約

この論文は、以前の研究に基づいて、リアルタイム軌道追跡のための補間制御 (IC) の有効性を調査します。
軌道追跡自体やシミュレーションでの UAV 安定化制御に焦点を当てた先行研究とは異なり、我々は、遠隔制御 UAV を使用したシミュレーション実験と実験室実験の両方を通じて、モデル予測制御 (MPC) と比較した修正拡張 IC (eIC) コントローラーの性能を評価します。
この評価は、以前の IC アプリケーションと比較したリアルタイム UAV 軌道追跡の計算効率と制御品質に焦点を当てています。
この結果は、eIC コントローラーが計算の複雑さを大幅に軽減しながら MPC と比較して競争力のあるパフォーマンスを達成し、リソースに制約のあるプラットフォームの有望な代替品となることを示しています。

要約(オリジナル)

Building on our previous work, this paper investigates the effectiveness of interpolating control (IC) for real-time trajectory tracking. Unlike prior studies that focused on trajectory tracking itself or UAV stabilization control in simulation, we evaluate the performance of a modified extended IC (eIC) controller compared to Model Predictive Control (MPC) through both simulated and laboratory experiments with a remotely controlled UAV. The evaluation focuses on the computational efficiency and control quality of real-time UAV trajectory tracking compared to previous IC applications. The results demonstrate that the eIC controller achieves competitive performance compared to MPC while significantly reducing computational complexity, making it a promising alternative for resource-constrained platforms.

arxiv情報

著者 Zdeněk Bouček,Miroslav Flídr,Ondřej Straka
発行日 2024-07-02 07:45:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | コメントする