Global Contact-Rich Planning with Sparsity-Rich Semidefinite Relaxations

投稿日: 2025年2月7日 作成者: jarxiv

要約

多項式最適化（POP）と見なされると、接触が豊富なモーション計画もスパースリッチであることを示します。
すべてのポップに一般的な相関および用語のスパースパターンだけでなく、ロボットの運動学的構造と接触モードの分離性からの特殊なスパースパターンも活用できます。
このようなスパース性により、高次がまばらなセミドフィニットプログラミング（SDPS）緩和 – ラセレの瞬間と正方形の階層の合計を構築することを可能にします。
ii）少数の認定されたサブ最適性を備えた、非コンベックスの接触豊富な計画問題に対するグローバルに最適なソリューションに近いと計算されます。
シミュレーション（プッシュボット、プッシュボックス、障害物を備えたプッシュボックス、プラナーハンドのプッシュボックス）と現実世界（プッシュT）の両方で広範な実験を通じて、凸型SDP緩和を使用してグローバルな接触リッチモーションプランを生成する力を示します。
独立した関心の貢献として、PythonとMatlabの両方にインターフェイスを備えたC ++で実装されたスパース多項式最適化ツールボックス（SPOT）をリリースします。

要約(オリジナル)

We show that contact-rich motion planning is also sparsity-rich when viewed as polynomial optimization (POP). We can exploit not only the correlative and term sparsity patterns that are general to all POPs, but also specialized sparsity patterns from the robot kinematic structure and the separability of contact modes. Such sparsity enables the design of high-order but sparse semidefinite programming (SDPs) relaxations–building upon Lasserre’s moment and sums of squares hierarchy–that (i) can be solved in seconds by off-the-shelf SDP solvers, and (ii) compute near globally optimal solutions to the nonconvex contact-rich planning problems with small certified suboptimality. Through extensive experiments both in simulation (Push Bot, Push Box, Push Box with Obstacles, and Planar Hand) and real world (Push T), we demonstrate the power of using convex SDP relaxations to generate global contact-rich motion plans. As a contribution of independent interest, we release the Sparse Polynomial Optimization Toolbox (SPOT)–implemented in C++ with interfaces to both Python and Matlab–that automates sparsity exploitation for robotics and beyond.

arxiv情報

著者 Shucheng Kang,Guorui Liu,Heng Yang
発行日 2025-02-06 15:22:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, math.OC | Global Contact-Rich Planning with Sparsity-Rich Semidefinite Relaxations はコメントを受け付けていません

A Parameter-Efficient Tuning Framework for Language-guided Object Grounding and Robot Grasping

投稿日: 2025年2月7日 作成者: jarxiv

要約

言語誘導ロボットの把握タスクでは、ロボットエージェントが視覚入力と言語入力の両方からマルチモーダル情報を統合して、ターゲット駆動型の把握のアクションを予測する必要があります。
マルチモーダル大手言語モデル（MLLM）を利用する最近のアプローチは有望な結果を示していますが、その広範な計算とデータの要求は、ローカルの展開とカスタマイズの実現可能性を制限しています。
これに対処するために、3つの言語誘導オブジェクトの接地と把握タスクのために設計された新しいクリップベースのマルチモーダルパラメーター効率の高いチューニング（PET）フレームワークを提案します。
）、および（3）把持アフォーダンス（RGA）を参照します。
私たちのアプローチでは、2つの重要な革新を紹介します。ピクセルレベルの言語理解のマルチモーダル入力を整列させる双方向ビジョン言語アダプターと、幾何学的なキューを組み込んでロボットの把握予測を促進する深度融合分岐です。
実験結果は、既存のクリップベースのフルモデルチューニングまたはPETアプローチと比較して、RESオブジェクトの接地タスクで優れた性能を示しています。
RGSおよびRGAタスクでは、モデルは単純な言語の説明に基づいてオブジェクト属性を効果的に解釈するだけでなく、ワークスペースに存在する複数の同一のオブジェクトなど、複雑な空間的推論シナリオを理解するための強力な可能性を示しています。
プロジェクトページ：https：//z.umn.edu/etog-ettg

要約(オリジナル)

The language-guided robot grasping task requires a robot agent to integrate multimodal information from both visual and linguistic inputs to predict actions for target-driven grasping. While recent approaches utilizing Multimodal Large Language Models (MLLMs) have shown promising results, their extensive computation and data demands limit the feasibility of local deployment and customization. To address this, we propose a novel CLIP-based multimodal parameter-efficient tuning (PET) framework designed for three language-guided object grounding and grasping tasks: (1) Referring Expression Segmentation (RES), (2) Referring Grasp Synthesis (RGS), and (3) Referring Grasp Affordance (RGA). Our approach introduces two key innovations: a bi-directional vision-language adapter that aligns multimodal inputs for pixel-level language understanding and a depth fusion branch that incorporates geometric cues to facilitate robot grasping predictions. Experiment results demonstrate superior performance in the RES object grounding task compared with existing CLIP-based full-model tuning or PET approaches. In the RGS and RGA tasks, our model not only effectively interprets object attributes based on simple language descriptions but also shows strong potential for comprehending complex spatial reasoning scenarios, such as multiple identical objects present in the workspace. Project page: https://z.umn.edu/etog-etrg

arxiv情報

著者 Houjian Yu,Mingen Li,Alireza Rezazadeh,Yang Yang,Changhyun Choi
発行日 2025-02-06 17:27:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | A Parameter-Efficient Tuning Framework for Language-guided Object Grounding and Robot Grasping はコメントを受け付けていません

A Unified and General Humanoid Whole-Body Controller for Fine-Grained Locomotion

投稿日: 2025年2月7日 作成者: jarxiv

要約

移動は、ヒューマノイドロボットの基本的なスキルです。
しかし、ほとんどの既存の作品は、移動を単一の、退屈な、柔軟性のない、パッシブな動きにしました。
これにより、ヒューマノイドロボットの運動能力が制限されます。
対照的に、人間は、頻度や足の高さなどの歩行パラメーターを走り、ジャンプ、ホッピング、そして細かく調整する多目的な運動能力を備えています。
この論文では、このような汎用性をヒューマノイド運動にもたらすためのソリューションを調査し、それによってHugwbcを提案します。
タスクと行動の側面で一般的なコマンドスペースを設計することにより、シミュレーションで全身のヒューマノイド制御ポリシーを学習するための対称的な損失や介入トレーニングなどの高度な手法を設計することにより、HugwBCにより、実際のヒューマノイドロボットはさまざまな自然な歩きを生成できます。
周波数、フットスイングの高さ、さらに異なる体の高さ、ウエストの回転、ボディピッチなどのカスタマイズ可能なパラメーターを使用して、ウォーキング（ランニング）、ジャンプ、スタンディング、ホッピングを使用して、すべて1つのポリシーにあります。
HugwBCは、移動を超えて、遠隔操作などの外部上半身のコントローラーからのリアルタイム介入もサポートし、機関車の動作の下で正確な制御を維持しながら局所操作を可能にします。
私たちの実験では、すべてのコマンドに対する上半身の介入を伴う、または使用せずにHugwBCの高い追跡精度と堅牢性を検証し、さらに、さまざまなコマンドがヒューマノイドの動きにどのように影響するかについての詳細な分析を提供し、これらのコマンド間の関係に関する洞察を提供します。
私たちの知る限り、HugwBCは、高い堅牢性と柔軟性を備えたこのようなきめの細かい移動行動をサポートする最初のヒューマノイド全身コントローラーです。

要約(オリジナル)

Locomotion is a fundamental skill for humanoid robots. However, most existing works made locomotion a single, tedious, unextendable, and passive movement. This limits the kinematic capabilities of humanoid robots. In contrast, humans possess versatile athletic abilities-running, jumping, hopping, and finely adjusting walking parameters such as frequency, and foot height. In this paper, we investigate solutions to bring such versatility into humanoid locomotion and thereby propose HUGWBC: a unified and general humanoid whole-body controller for fine-grained locomotion. By designing a general command space in the aspect of tasks and behaviors, along with advanced techniques like symmetrical loss and intervention training for learning a whole-body humanoid controlling policy in simulation, HugWBC enables real-world humanoid robots to produce various natural gaits, including walking (running), jumping, standing, and hopping, with customizable parameters such as frequency, foot swing height, further combined with different body height, waist rotation, and body pitch, all in one single policy. Beyond locomotion, HUGWBC also supports real-time interventions from external upper-body controllers like teleoperation, enabling loco-manipulation while maintaining precise control under any locomotive behavior. Our experiments validate the high tracking accuracy and robustness of HUGWBC with/without upper-body intervention for all commands, and we further provide an in-depth analysis of how the various commands affect humanoid movement and offer insights into the relationships between these commands. To our knowledge, HugWBC is the first humanoid whole-body controller that supports such fine-grained locomotion behaviors with high robustness and flexibility.

arxiv情報

著者 Yufei Xue,Wentao Dong,Minghuan Liu,Weinan Zhang,Jiangmiao Pang
発行日 2025-02-06 14:12:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | A Unified and General Humanoid Whole-Body Controller for Fine-Grained Locomotion はコメントを受け付けていません

Learning to Double Guess: An Active Perception Approach for Estimating the Center of Mass of Arbitrary Objects

投稿日: 2025年2月6日 作成者: jarxiv

要約

非構造化された環境で任意のオブジェクトを操作することは、主にオブジェクトの質量の決定が難しいため、ロボット工学において重要な課題です。
このペーパーでは、U-Graph：不確実性ガイド付きの回転能動知覚と、触覚を使用して質量推定の中心を強化する新しいフレームワークである、触覚との回転活性知覚を紹介します。
従来の方法は、多くの場合、単一の相互作用に依存しており、フォーストルク（F/T）センサーの固有の不正確さによって制限されています。
私たちのアプローチは、ベイジアンニューラルネットワーク（BNN）を統合して不確実性を定量化し、グリッド検索と各アクションをスコアリングするニューラルネットワークを介してロボットシステムを導くことにより、これらの制限を回避します。
限られたバリエーションを備えた小さなデータセットでのトレーニングを使用して、メソッドの顕著な一般化と転送可能性を示していますが、目に見えない複雑な実世界オブジェクトではうまく機能します。

要約(オリジナル)

Manipulating arbitrary objects in unstructured environments is a significant challenge in robotics, primarily due to difficulties in determining an object’s center of mass. This paper introduces U-GRAPH: Uncertainty-Guided Rotational Active Perception with Haptics, a novel framework to enhance the center of mass estimation using active perception. Traditional methods often rely on single interaction and are limited by the inherent inaccuracies of Force-Torque (F/T) sensors. Our approach circumvents these limitations by integrating a Bayesian Neural Network (BNN) to quantify uncertainty and guide the robotic system through multiple, information-rich interactions via grid search and a neural network that scores each action. We demonstrate the remarkable generalizability and transferability of our method with training on a small dataset with limited variation yet still perform well on unseen complex real-world objects.

arxiv情報

著者 Shengmiao Jin,Yuchen Mo,Wenzhen Yuan
発行日 2025-02-04 19:03:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Learning to Double Guess: An Active Perception Approach for Estimating the Center of Mass of Arbitrary Objects はコメントを受け付けていません

Differentiable Composite Neural Signed Distance Fields for Robot Navigation in Dynamic Indoor Environments

投稿日: 2025年2月6日 作成者: jarxiv

要約

ニューラル署名距離フィールド（SDFS）は、ロボットナビゲーションタスクの衝突チェックと明確に定義された勾配を容易に取得するために、微分可能な環境表現を提供します。
ただし、シーンの進化に応じてニューラルSDFSを更新するには、退屈で時間がかかり、非効率的であるため、再トレーニングが必要であるため、動的環境での視野が限られているロボットナビゲーションには適していません。
この目的に向けて、オンボードRGB-Dセンサーのみを使用して屋内環境でロボットナビゲーションを解決するための神経SDFの構成フレームワークを提案します。
私たちのフレームワークは、衝突コストと衝突回避勾配のモデリングの補完的な方法を使用して、さまざまなモードを使用して、軌道最適化のためのデュアルモード手順を具体化します。
プライマリステージは、ロボットボディのSDFを照会し、障害物ポイントクラウドでゴールへのルートに沿ってスイープし、軌道の迅速なローカル最適化を可能にします。
セカンダリステージは、構成要素のSDF表現を調整および構成することにより、可視シーンのSDFを推進し、軌道最適化のためのより良い情報に基づいたコストと勾配を提供します。
デュアルモードの手順は、両方の段階のベストを組み合わせて、98％の成功率を達成し、ベースラインよりも14.4％高くなり、Igibson 2.0で均等化された計画時間があります。
また、現実世界の屋内シナリオに適応する際のその効果を示しています。

要約(オリジナル)

Neural Signed Distance Fields (SDFs) provide a differentiable environment representation to readily obtain collision checks and well-defined gradients for robot navigation tasks. However, updating neural SDFs as the scene evolves entails re-training, which is tedious, time consuming, and inefficient, making it unsuitable for robot navigation with limited field-of-view in dynamic environments. Towards this objective, we propose a compositional framework of neural SDFs to solve robot navigation in indoor environments using only an onboard RGB-D sensor. Our framework embodies a dual mode procedure for trajectory optimization, with different modes using complementary methods of modeling collision costs and collision avoidance gradients. The primary stage queries the robot body’s SDF, swept along the route to goal, at the obstacle point cloud, enabling swift local optimization of trajectories. The secondary stage infers the visible scene’s SDF by aligning and composing the SDF representations of its constituents, providing better informed costs and gradients for trajectory optimization. The dual mode procedure combines the best of both stages, achieving a success rate of 98%, 14.4% higher than baseline with comparable amortized plan time on iGibson 2.0. We also demonstrate its effectiveness in adapting to real-world indoor scenarios.

arxiv情報

著者 S. Talha Bukhari,Daniel Lawson,Ahmed H. Qureshi
発行日 2025-02-04 19:07:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Differentiable Composite Neural Signed Distance Fields for Robot Navigation in Dynamic Indoor Environments はコメントを受け付けていません

Deep Reinforcement Learning Enabled Persistent Surveillance with Energy-Aware UAV-UGV Systems for Disaster Management Applications

投稿日: 2025年2月6日 作成者: jarxiv

要約

無人航空機（UAV）と無人の地上車両（UGV）を統合すると、災害管理における持続的な監視のための効果的なソリューションが提供されます。
UAVは急速に広い領域をカバーすることに優れていますが、その範囲はバッテリー容量によって制限されています。
UGVは、遅くなっていますが、延長ミッションのために大きなバッテリーを運ぶことができます。
UGVをモバイル充電ステーションとして使用することにより、UAVは定期的な燃料補給を通じてミッション期間を延長し、両方のシステムの補完的な強さを活用できます。
このエネルギーを認識しているUAV-AUGV協同ルーティングの問題を最適化するために、UAVとUGVの間の最適なルートと充電ポイントを決定する計画フレームワークを提案します。
当社のソリューションは、マルチヘッド注意メカニズムを備えたエンコーダーデコーダートランスアーキテクチャに基づいて構築されたディープ補強学習（DRL）フレームワークを採用しています。
このアーキテクチャにより、モデルはミッションポイントにアクセスし、UAVとUGVの間のランデブーを再充電するためのアクションを順次選択できます。
DRLモデルは、ミッションポイントの年齢期間（連続した訪問間の時間隙間）を最小限に抑えるように訓練され、効果的な監視が確保されます。
さまざまな問題のサイズと分布にわたるフレームワークを評価し、そのパフォーマンスをヒューリスティックな方法と既存の学習ベースのモデルと比較します。
結果は、私たちのアプローチが、ソリューションの品質とランタイムの両方でこれらのベースラインよりも一貫して優れていることを示しています。
さらに、ケーススタディとしての実際の災害シナリオでのDRLポリシーの適用性を示し、オンラインミッション計画の動的な変更を処理する可能性を調査します。
優先駆動型監視のためにDRLポリシーを適応させると、リアルタイムの災害対応に対するモデルの一般化可能性が強調されています。

要約(オリジナル)

Integrating Unmanned Aerial Vehicles (UAVs) with Unmanned Ground Vehicles (UGVs) provides an effective solution for persistent surveillance in disaster management. UAVs excel at covering large areas rapidly, but their range is limited by battery capacity. UGVs, though slower, can carry larger batteries for extended missions. By using UGVs as mobile recharging stations, UAVs can extend mission duration through periodic refueling, leveraging the complementary strengths of both systems. To optimize this energy-aware UAV-UGV cooperative routing problem, we propose a planning framework that determines optimal routes and recharging points between a UAV and a UGV. Our solution employs a deep reinforcement learning (DRL) framework built on an encoder-decoder transformer architecture with multi-head attention mechanisms. This architecture enables the model to sequentially select actions for visiting mission points and coordinating recharging rendezvous between the UAV and UGV. The DRL model is trained to minimize the age periods (the time gap between consecutive visits) of mission points, ensuring effective surveillance. We evaluate the framework across various problem sizes and distributions, comparing its performance against heuristic methods and an existing learning-based model. Results show that our approach consistently outperforms these baselines in both solution quality and runtime. Additionally, we demonstrate the DRL policy’s applicability in a real-world disaster scenario as a case study and explore its potential for online mission planning to handle dynamic changes. Adapting the DRL policy for priority-driven surveillance highlights the model’s generalizability for real-time disaster response.

arxiv情報

著者 Md Safwan Mondal,Subramanian Ramasamy,Pranav Bhounsule
発行日 2025-02-04 19:11:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Deep Reinforcement Learning Enabled Persistent Surveillance with Energy-Aware UAV-UGV Systems for Disaster Management Applications はコメントを受け付けていません

Kino-PAX: Highly Parallel Kinodynamic Sampling-based Planner

投稿日: 2025年2月6日 作成者: jarxiv

要約

サンプリングベースのモーションプランナー（SBMP）は、高次元空間で複雑な運動力学的制約を伴う計画に効果的ですが、主にシリアル計算設計によるリアルタイムパフォーマンスの達成に苦労しています。
GPUなどの並列デバイス向けに設計された新規の非常に平行な運動力学的SBMPであるKinodynamic Paralallel Accelerated拡張（Kino-Pax）を提示します。
Kino-Paxは、軌道セグメントの木を並行して直接成長させます。
私たちの重要な洞察は、反復樹木の成長プロセスを3つの非常に平行なサブルーチンに分解する方法です。
Kino-Paxは、スレッドが大部分が独立していることを確認し、ワークロードを共有し、低遅延のデータ転送とプロセスの同期を最小限に抑えながら、低遅延リソースを利用することにより、並列デバイス実行階層と整合するように設計されています。
この設計により、非常に効率的なGPU実装が行われます。
Kino-Paxが確率的に完全に完全であることを証明し、コンピューテハードウェアの改善によりそのスケーラビリティを分析します。
経験的評価は、デスクトップGPUで10ミリ秒、埋め込みGPUで100ミリ秒程度のソリューションを実証し、最大のシーケンシャルアルゴリズムの粗粒CPUの並列化と比較して最大1000倍の改善を表します。
さまざまな複雑な環境とシステム。

要約(オリジナル)

Sampling-based motion planners (SBMPs) are effective for planning with complex kinodynamic constraints in high-dimensional spaces, but they still struggle to achieve real-time performance, which is mainly due to their serial computation design. We present Kinodynamic Parallel Accelerated eXpansion (Kino-PAX), a novel highly parallel kinodynamic SBMP designed for parallel devices such as GPUs. Kino-PAX grows a tree of trajectory segments directly in parallel. Our key insight is how to decompose the iterative tree growth process into three massively parallel subroutines. Kino-PAX is designed to align with the parallel device execution hierarchies, through ensuring that threads are largely independent, share equal workloads, and take advantage of low-latency resources while minimizing high-latency data transfers and process synchronization. This design results in a very efficient GPU implementation. We prove that Kino-PAX is probabilistically complete and analyze its scalability with compute hardware improvements. Empirical evaluations demonstrate solutions in the order of 10 ms on a desktop GPU and in the order of 100 ms on an embedded GPU, representing up to 1000 times improvement compared to coarse-grained CPU parallelization of state-of-the-art sequential algorithms over a range of complex environments and systems.

arxiv情報

著者 Nicolas Perrault,Qi Heng Ho,Morteza Lahijanian
発行日 2025-02-04 20:09:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.PF, cs.RO | Kino-PAX: Highly Parallel Kinodynamic Sampling-based Planner はコメントを受け付けていません

Intelligent Sensing-to-Action for Robust Autonomy at the Edge: Opportunities and Challenges

投稿日: 2025年2月6日 作成者: jarxiv

要約

ロボット工学、スマートシティ、および自律車の自律的なエッジコンピューティングは、動的環境でのリアルタイムの意思決定のためのセンシング、処理、および作動のシームレスな統合に依存しています。
そのコアには、センシングツーアクションループがあります。これは、センサー入力を計算モデルと繰り返し調整して、適応制御戦略を促進します。
これらのループは、ハイパーローカル条件に適応し、リソースの効率と応答性を高めますが、リソースの制約、マルチモーダルデータ融合の同期遅延、フィードバックループのカスケードエラーのリスクなどの課題にも直面します。
この記事では、積極的でコンテキストを意識したセンシングからアクションへのアクションへのアクションへの適応が、環境の非常に限られた部分をセンシングして残りを予測するなど、タスクの要求に基づいてセンシングと計算を動的に調整することにより、効率をどのように強化できるかについて説明します。
制御アクションを通じてセンシングをガイドすることにより、アクションツーセンシングパスウェイはタスクの関連性とリソースの使用を改善できますが、カスケードエラーを防ぎ、信頼性を維持するために堅牢な監視も必要です。
マルチエージェントセンシングアクションループは、分散エージェント全体で調整されたセンシングとアクションを通じてこれらの機能をさらに拡張し、コラボレーションを介してリソースの使用を最適化します。
さらに、生物系に触発された神経型コンピューティングは、エネルギーを節約し、レイテンシを削減し、階層制御をサポートするスパイクベースのイベント駆動型処理の効率的なフレームワークを提供します。
この記事では、アルゴリズムモデルをハードウェアや環境ダイナミクスと整列させるエンドツーエンドの共同設計戦略の重要性を強調し、複雑な環境でのエネルギー効率の高いエッジ自律性のスループット、精度、および適応性を改善するために、横層相互依存性を改善します。

要約(オリジナル)

Autonomous edge computing in robotics, smart cities, and autonomous vehicles relies on the seamless integration of sensing, processing, and actuation for real-time decision-making in dynamic environments. At its core is the sensing-to-action loop, which iteratively aligns sensor inputs with computational models to drive adaptive control strategies. These loops can adapt to hyper-local conditions, enhancing resource efficiency and responsiveness, but also face challenges such as resource constraints, synchronization delays in multi-modal data fusion, and the risk of cascading errors in feedback loops. This article explores how proactive, context-aware sensing-to-action and action-to-sensing adaptations can enhance efficiency by dynamically adjusting sensing and computation based on task demands, such as sensing a very limited part of the environment and predicting the rest. By guiding sensing through control actions, action-to-sensing pathways can improve task relevance and resource use, but they also require robust monitoring to prevent cascading errors and maintain reliability. Multi-agent sensing-action loops further extend these capabilities through coordinated sensing and actions across distributed agents, optimizing resource use via collaboration. Additionally, neuromorphic computing, inspired by biological systems, provides an efficient framework for spike-based, event-driven processing that conserves energy, reduces latency, and supports hierarchical control–making it ideal for multi-agent optimization. This article highlights the importance of end-to-end co-design strategies that align algorithmic models with hardware and environmental dynamics and improve cross-layer interdependencies to improve throughput, precision, and adaptability for energy-efficient edge autonomy in complex environments.

arxiv情報

著者 Amit Ranjan Trivedi,Sina Tayebati,Hemant Kumawat,Nastaran Darabi,Divake Kumar,Adarsh Kumar Kosta,Yeshwanth Venkatesha,Dinithi Jayasuriya,Nethmi Jayasinghe,Priyadarshini Panda,Saibal Mukhopadhyay,Kaushik Roy
発行日 2025-02-04 20:13:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO | Intelligent Sensing-to-Action for Robust Autonomy at the Edge: Opportunities and Challenges はコメントを受け付けていません

Rapidly Adapting Policies to the Real World via Simulation-Guided Fine-Tuning

投稿日: 2025年2月6日 作成者: jarxiv

要約

ロボット学習には、一般化の約束を実現するために、かなりの量の高品質データが必要です。
ただし、大規模なデータセットは、現実の世界で収集するのに費用がかかります。
物理シミュレーターは、州、アクション、環境を幅広くカバーして、膨大なデータセットを安価に生成できます。
ただし、物理エンジンは、基本的に誤って指定された現実の近似です。
これにより、特に正確で力に敏感な操作が必要なタスクで、シミュレーションから現実への直接のゼロショット転送が困難になります。
したがって、これらのポリシーを小さな現実世界のデータセットで微調整することは、ロボット学習をスケーリングするための魅力的な経路です。
ただし、現在の強化学習微調整フレームワークは、実際の適応を実用的にするには非効率的すぎる、一般的な非構造化されていない探索戦略を活用しています。
このペーパーでは、シミュレーションガイド付きの微調整（SGFT）フレームワークを紹介します。これは、物理シミュレータから構造的プライアーを抽出して、実世界の適応を実質的に加速する方法を示しています。
具体的には、私たちのアプローチでは、シミュレーションで学習された値関数を使用して、実際の探索をガイドします。
ゼロショットSIMからリアルへの転送が失敗する5つの実際の器用な操作タスクでこのアプローチを実証します。
さらに、フレームワークがベースラインの微調整方法を大幅に上回ることを実証します。これは、実世界のサンプルを数桁少なくする必要があり、以前のアプローチが完全に失敗する困難なタスクで成功します。
最後になりましたが、SGFTが大規模なSIMからリアルのダイナミクスギャップに直面して高性能ポリシーを迅速に学習する方法を支えるこの新しいパラダイムの理論的正当化を提供します。
プロジェクトWebページ：https：//weirdlabuw.github.io/sgft/ {weirdlabuw.github.io/sgft}

要約(オリジナル)

Robot learning requires a considerable amount of high-quality data to realize the promise of generalization. However, large data sets are costly to collect in the real world. Physics simulators can cheaply generate vast data sets with broad coverage over states, actions, and environments. However, physics engines are fundamentally misspecified approximations to reality. This makes direct zero-shot transfer from simulation to reality challenging, especially in tasks where precise and force-sensitive manipulation is necessary. Thus, fine-tuning these policies with small real-world data sets is an appealing pathway for scaling robot learning. However, current reinforcement learning fine-tuning frameworks leverage general, unstructured exploration strategies which are too inefficient to make real-world adaptation practical. This paper introduces the Simulation-Guided Fine-tuning (SGFT) framework, which demonstrates how to extract structural priors from physics simulators to substantially accelerate real-world adaptation. Specifically, our approach uses a value function learned in simulation to guide real-world exploration. We demonstrate this approach across five real-world dexterous manipulation tasks where zero-shot sim-to-real transfer fails. We further demonstrate our framework substantially outperforms baseline fine-tuning methods, requiring up to an order of magnitude fewer real-world samples and succeeding at difficult tasks where prior approaches fail entirely. Last but not least, we provide theoretical justification for this new paradigm which underpins how SGFT can rapidly learn high-performance policies in the face of large sim-to-real dynamics gaps. Project webpage: https://weirdlabuw.github.io/sgft/{weirdlabuw.github.io/sgft}

arxiv情報

著者 Patrick Yin,Tyler Westenbroek,Simran Bagaria,Kevin Huang,Ching-an Cheng,Andrey Kobolov,Abhishek Gupta
発行日 2025-02-04 20:40:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Rapidly Adapting Policies to the Real World via Simulation-Guided Fine-Tuning はコメントを受け付けていません

The Design of On-Body Robots for Older Adults

投稿日: 2025年2月6日 作成者: jarxiv

要約

ウェアラブルテクノロジーは、高齢者の生活の質を大幅に向上させ、体内の動きのあるロボットの出現は、幸福をさらに高めるための新しい機会を提供します。
しかし、これらのロボットの相互作用設計は、特に高齢者の観点からは、依然として標準のままです。
この集団のボディ内ロボットの設計原則を明らかにするために、13人の高齢者が関与する2フェーズの共同設計プロセスからの調査結果を提示します。
潜在的なアプリケーションの豊富なスペクトルを特定し、高齢者向けに体内ロボットをどのように構築すべきかを知らせるための設計スペースを特徴付けます。
私たちの調査結果は、共同体、具体化、マルチモーダル通信などの要因を考慮することの重要性を強調しています。
私たちの仕事は、ボディ上のロボットの日常生活への統合を促進するためのデザインの洞察を提供し、共同設計プロセスに高齢者が関与することの価値を強調して、新しいウェアラブルロボットテクノロジーの使いやすさと受け入れを促進します。

要約(オリジナル)

Wearable technology has significantly improved the quality of life for older adults, and the emergence of on-body, movable robots presents new opportunities to further enhance well-being. Yet, the interaction design for these robots remains under-explored, particularly from the perspective of older adults. We present findings from a two-phase co-design process involving 13 older adults to uncover design principles for on-body robots for this population. We identify a rich spectrum of potential applications and characterize a design space to inform how on-body robots should be built for older adults. Our findings highlight the importance of considering factors like co-presence, embodiment, and multi-modal communication. Our work offers design insights to facilitate the integration of on-body robots into daily life and underscores the value of involving older adults in the co-design process to promote usability and acceptance of emerging wearable robotic technologies.

arxiv情報

著者 Victor Nikhil Antony,Clara Jeon,Jiasheng Li,Ge Gao,Huaishu Peng,Anastasia K. Ostrowski,Chien-Ming Huang
発行日 2025-02-04 21:18:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.RO | The Design of On-Body Robots for Older Adults はコメントを受け付けていません