VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation

投稿日: 2025年3月11日 作成者: jarxiv

要約

将来のロボットは、さまざまな家庭用タスクを実行できる多目的システムとして想定されています。
大きな疑問が残っています。物理的なロボット学習を最小限に抑えながら、具体化のギャップをどのように埋めることができますか。
内部の人間のビデオから学ぶことは、膨大な量の関連データがすでにインターネットに存在するため、ロボット操作タスクの有望なソリューションを提供すると主張しています。
この作業では、野生の単眼RGBのみの人間ビデオから学習した3Dアフォーダンスを使用して、ゼロショットロボット操作を可能にするフレームワークであるVidbotを提示します。
Vidbotはパイプラインを活用して、それらから明示的な表現、すなわちビデオからの3Dハンド軌跡を抽出し、深さの基礎モデルと構造から運動技術を組み合わせて、時間的に一貫したメトリックスケール3Dアフォーダンス表現を再構築します。
最初にピクセル空間から粗いアクションを識別し、次に拡散モデルで粗い相互作用の軌跡を生成し、粗いアクションを条件付け、コンテキスト対応の相互作用計画のテスト時間制約によって導かれ、新しいシーンと態度の実質的な一般化を可能にします。
広範な実験は、VIDBOTの有効性を示しています。これは、ゼロショット設定で13の操作タスクにわたってカウンターパートを大幅に上回り、実際の環境でロボットシステム全体にシームレスに展開できます。
Vidbotは、毎日の人間のビデオを活用して、ロボット学習をよりスケーラブルにするための道を開きます。

要約(オリジナル)

Future robots are envisioned as versatile systems capable of performing a variety of household tasks. The big question remains, how can we bridge the embodiment gap while minimizing physical robot learning, which fundamentally does not scale well. We argue that learning from in-the-wild human videos offers a promising solution for robotic manipulation tasks, as vast amounts of relevant data already exist on the internet. In this work, we present VidBot, a framework enabling zero-shot robotic manipulation using learned 3D affordance from in-the-wild monocular RGB-only human videos. VidBot leverages a pipeline to extract explicit representations from them, namely 3D hand trajectories from videos, combining a depth foundation model with structure-from-motion techniques to reconstruct temporally consistent, metric-scale 3D affordance representations agnostic to embodiments. We introduce a coarse-to-fine affordance learning model that first identifies coarse actions from the pixel space and then generates fine-grained interaction trajectories with a diffusion model, conditioned on coarse actions and guided by test-time constraints for context-aware interaction planning, enabling substantial generalization to novel scenes and embodiments. Extensive experiments demonstrate the efficacy of VidBot, which significantly outperforms counterparts across 13 manipulation tasks in zero-shot settings and can be seamlessly deployed across robot systems in real-world environments. VidBot paves the way for leveraging everyday human videos to make robot learning more scalable.

arxiv情報

著者 Hanzhi Chen,Boyang Sun,Anran Zhang,Marc Pollefeys,Stefan Leutenegger
発行日 2025-03-10 10:04:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation はコメントを受け付けていません

Temporal Overlapping Prediction: A Self-supervised Pre-training Method for LiDAR Moving Object Segmentation

投稿日: 2025年3月11日 作成者: jarxiv

要約

Lidar Point Cloudsの移動オブジェクトセグメンテーション（MO）は、自動運転車などの自律システムにとって重要です。
以前の監視されたアプローチは、費用のかかる手動注釈に大きく依存していますが、LIDARシーケンスは、自立した学習のために活用できる一時的な動きの手がかりを自然にキャプチャします。
この論文では、\ textbf {t} empolal \ textbf {o} verlopping \ textbf {p} rediction（\ textbf {top}）を提案します。
\ textBf {TOP}は、電流および隣接するスキャンによって一般的に観察される時間的重複点を調査し、時間的重複ポイントの占有状態を予測することにより、時空間表現を学習します。
さらに、現在の占有再構成を補助前訓練目標として利用し、モデルの現在の構造認識を高めます。
広範な実験を実施し、従来のメトリック交差点（IOU）が、よりスキャンされたポイントを持つオブジェクトに強いバイアスを示すことを観察します。
このバイアスを補うために、オブジェクトレベルのパフォーマンスを評価するために、$ \ text {miou} _ {\ text {obj}} $と呼ばれる追加のメトリックを導入します。
NuscenesとSemantickittiの実験は、\ TextBf {Top}が、監視されたトレーニングベースラインとその他の自己監視前のトレーニングベースラインの両方を最大28.77％の相対的な改善により上回ることを示しています。
コードと事前に訓練されたモデルは、公開時に公開されます。

要約(オリジナル)

Moving object segmentation (MOS) on LiDAR point clouds is crucial for autonomous systems like self-driving vehicles. Previous supervised approaches rely heavily on costly manual annotations, while LiDAR sequences naturally capture temporal motion cues that can be leveraged for self-supervised learning. In this paper, we propose \textbf{T}emporal \textbf{O}verlapping \textbf{P}rediction (\textbf{TOP}), a self-supervised pre-training method that alleviate the labeling burden for MOS. \textbf{TOP} explores the temporal overlapping points that commonly observed by current and adjacent scans, and learns spatiotemporal representations by predicting the occupancy states of temporal overlapping points. Moreover, we utilize current occupancy reconstruction as an auxiliary pre-training objective, which enhances the current structural awareness of the model. We conduct extensive experiments and observe that the conventional metric Intersection-over-Union (IoU) shows strong bias to objects with more scanned points, which might neglect small or distant objects. To compensate for this bias, we introduce an additional metric called $\text{mIoU}_{\text{obj}}$ to evaluate object-level performance. Experiments on nuScenes and SemanticKITTI show that \textbf{TOP} outperforms both supervised training-from-scratch baseline and other self-supervised pre-training baselines by up to 28.77\% relative improvement, demonstrating strong transferability across LiDAR setups and generalization to other tasks. Code and pre-trained models will be publicly available upon publication.

arxiv情報

著者 Ziliang Miao,Runjian Chen,Yixi Cai,Buwei He,Wenquan Zhao,Wenqi Shao,Bo Zhang,Fu Zhang
発行日 2025-03-10 10:44:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | Temporal Overlapping Prediction: A Self-supervised Pre-training Method for LiDAR Moving Object Segmentation はコメントを受け付けていません

Reactive and Safety-Aware Path Replanning for Collaborative Applications

投稿日: 2025年3月11日 作成者: jarxiv

要約

このペーパーでは、人間とロボットの共同シナリオで動きを再繰り返し、反応性と安全に準拠した効率を強調します。
既存の人的認識モーションプランナーは構造化された環境で効果的ですが、多くの場合、予測不可能な人間の行動に苦労し、ロボットのパフォーマンスとスループットを制限する安全対策につながります。
この研究では、リアクティブパス再生と安全性の認識コスト関数を組み合わせて、ロボットが人間の状態の変化へのパスを調整できるようにします。
このソリューションは、安全性を犠牲にすることなく、実行時間と軌跡の減速の必要性を短縮します。
シミュレーションと現実世界の実験は、最大60 \％の効率向上を伴う、標準的なヒトロボット協力アプローチと比較した方法の有効性を示しています。

要約(オリジナル)

This paper addresses motion replanning in human-robot collaborative scenarios, emphasizing reactivity and safety-compliant efficiency. While existing human-aware motion planners are effective in structured environments, they often struggle with unpredictable human behavior, leading to safety measures that limit robot performance and throughput. In this study, we combine reactive path replanning and a safety-aware cost function, allowing the robot to adjust its path to changes in the human state. This solution reduces the execution time and the need for trajectory slowdowns without sacrificing safety. Simulations and real-world experiments show the method’s effectiveness compared to standard human-robot cooperation approaches, with efficiency enhancements of up to 60\%.

arxiv情報

著者 Cesare Tonola,Marco Faroni,Saeed Abdolshah,Mazin Hamad,Sami Haddadin,Nicola Pedrocchi,Manuel Beschi
発行日 2025-03-10 11:22:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Reactive and Safety-Aware Path Replanning for Collaborative Applications はコメントを受け付けていません

Learning and planning for optimal synergistic human-robot coordination in manufacturing contexts

投稿日: 2025年3月11日 作成者: jarxiv

要約

共同ロボットセルは、不均一なエージェントを活用して、アジャイル生産ソリューションを提供します。
ロボットと一緒に作業する人間のオペレーターの非効率性とリスクを防ぐためには、効果的な調整が不可欠です。
このホワイトペーパーでは、タスク計画の段階から始まる効率と安全性を最適化するための混合整数非線形プログラミングに基づいて、人間に認識されたタスクの割り当ておよびスケジューリングモデルを提案します。
このアプローチは、ロボットエージェントに課される安全上の制約から生じるエージェントによって並行して実行されたタスクのペア間の結合効果をコードする相乗効果を活用します。
これらの用語は、ベイジアンの推定を使用して以前の実行から学習されます。
相乗係数の事後確率分布の推論は、マルコフチェーンモンテカルロ法を使用して実行されます。
この相乗効果は、オペレーターの存在の効果に従って計画の名目期間を適応させることにより、タスク計画を強化します。
シミュレーションと実験結果は、提案された方法により、人間に認識されたタスク計画が改善され、エージェント間の不使用の干渉が減少し、人間とロボットの距離が増加し、プロセス実行時間が18％減少したことが示されています。

要約(オリジナル)

Collaborative robotics cells leverage heterogeneous agents to provide agile production solutions. Effective coordination is essential to prevent inefficiencies and risks for human operators working alongside robots. This paper proposes a human-aware task allocation and scheduling model based on Mixed Integer Nonlinear Programming to optimize efficiency and safety starting from task planning stages. The approach exploits synergies that encode the coupling effects between pairs of tasks executed in parallel by the agents, arising from the safety constraints imposed on robot agents. These terms are learned from previous executions using a Bayesian estimation; the inference of the posterior probability distribution of the synergy coefficients is performed using the Markov Chain Monte Carlo method. The synergy enhances task planning by adapting the nominal duration of the plan according to the effect of the operator’s presence. Simulations and experimental results demonstrate that the proposed method produces improved human-aware task plans, reducing unuseful interference between agents, increasing human-robot distance, and achieving up to an 18\% reduction in process execution time.

arxiv情報

著者 Samuele Sandrini,Marco Faroni,Nicola Pedrocchi
発行日 2025-03-10 12:20:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Learning and planning for optimal synergistic human-robot coordination in manufacturing contexts はコメントを受け付けていません

WHERE-Bot: a Wheel-less Helical-ring Everting Robot Capable of Omnidirectional Locomotion

投稿日: 2025年3月11日 作成者: jarxiv

要約

平らな表面向けに設計された従来の車輪付き輸送システムと比較して、ソフトロボットはさまざまな地形に並外れた適応性を示し、複雑な環境で安定した動きを可能にします。
ただし、障害物や障壁との衝突のリスクがあるため、ほとんどのソフトロボットは、境界が不確実な構造化されていない環境でのナビゲーションのためにセンサーに依存しています。
この作業では、全方向性の移動が可能なWhere-Bot、Wheelless Everting Soft Robotを提示します。
私たちのボットは、境界検出のためにセンサーに依存するのではなく、構造的および運動の利点を活用することにより、非構造化された環境をナビゲートできます。
春のおもちゃをループの形状に設定することにより、Where-botは複数の回転運動を実行します。ハブの周囲に沿ってスパイラル回転、ハブの中心の周りの自己回転、特定のポイントの周りを周回します。
ロボットの軌跡は、質量分布を積極的に変更することで再プログラムできます。
Where-botは、構造化されていない環境での境界探査の重要な可能性を示しています。

要約(オリジナル)

Compared to conventional wheeled transportation systems designed for flat surfaces, soft robots exhibit exceptional adaptability to various terrains, enabling stable movement in complex environments. However, due to the risk of collision with obstacles and barriers, most soft robots rely on sensors for navigation in unstructured environments with uncertain boundaries. In this work, we present the WHERE-Bot, a wheel-less everting soft robot capable of omnidirectional locomotion. Our WHERE-Bot can navigate through unstructured environments by leveraging its structural and motion advantages rather than relying on sensors for boundary detection. By configuring a spring toy “Slinky” into a loop shape, the WHERE-Bot performs multiple rotational motions: spiral-rotating along the hub circumference, self-rotating around the hub’s center, and orbiting around a certain point. The robot’s trajectories can be reprogrammed by actively altering its mass distribution. The WHERE-Bot shows significant potential for boundary exploration in unstructured environments.

arxiv情報

著者 Siyuan Feng,Dengfeng Yan,Jin Liu,Haotong Han,Alexandra Kühl,Shuguang Li
発行日 2025-03-10 12:30:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | WHERE-Bot: a Wheel-less Helical-ring Everting Robot Capable of Omnidirectional Locomotion はコメントを受け付けていません

A High Efficient and Scalable Obstacle-Avoiding VLSI Global Routing Flow

投稿日: 2025年3月11日 作成者: jarxiv

要約

ルーティングは、VLSI設計フローの重要なステップです。
製造技術の進歩により、特にルーティング中の障害に関して、設計ルールでより多くの制約が現れ、ルーティングの複雑さが増加しました。
残念ながら、多くのグローバルなルーターは、スケーラブルな障害物を回避するツリー生成方法がないため、複雑な障害物とネットを備えた最新のデザインを処理する能力により、障害物のないソリューションを効率的に生成するのに苦労しています。
この作業では、障害物を備えたVLSI設計のための効率的な障害物を意識するグローバルルーティングフローを提案します。
このフローには、ツリー生成フェーズ中に、ルールベースの障害物が直線的なシュタイナー最小ツリー（OARSMT）アルゴリズムを回避することが含まれます。
このアルゴリズムは、グローバルな初期段階で障害を避けるツリートポロジを提供するために、スケーラブルで高速です。
そのガイダンスにより、障害物の違反を最小限に抑え、オーバーフローコストを削減するために、OARSMT誘導と障害物を意識したまばらな迷路ルーティングが後期段階で提案されています。
障害物を備えたベンチマークの高度な方法と比較して、私たちのアプローチは障害物の違反をうまく排除し、有線とオーバーフローコストを削減し、限られた数のカウントとランタイムオーバーヘッドのみを犠牲にします。

要約(オリジナル)

Routing is a crucial step in the VLSI design flow. With the advancement of manufacturing technologies, more constraints have emerged in design rules, particularly regarding obstacles during routing, leading to increased routing complexity. Unfortunately, many global routers struggle to efficiently generate obstacle-free solutions due to the lack of scalable obstacle-avoiding tree generation methods and the capability of handling modern designs with complex obstacles and nets. In this work, we propose an efficient obstacle-aware global routing flow for VLSI designs with obstacles. The flow includes a rule-based obstacle-avoiding rectilinear Steiner minimal tree (OARSMT) algorithm during the tree generation phase. This algorithm is both scalable and fast to provide tree topologies avoiding obstacles in the early stage globally. With its guidance, OARSMT-guided and obstacle-aware sparse maze routing are proposed in the later stages to minimize obstacle violations further and reduce overflow costs. Compared to advanced methods on the benchmark with obstacles, our approach successfully eliminates obstacle violations, and reduces wirelength and overflow cost, while sacrificing only a limited number of via counts and runtime overhead.

arxiv情報

著者 Junhao Guo,Hongxin Kong,Lang Feng
発行日 2025-03-10 12:49:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.OH, cs.RO | A High Efficient and Scalable Obstacle-Avoiding VLSI Global Routing Flow はコメントを受け付けていません

Multi-Robot System for Cooperative Exploration in Unknown Environments: A Survey

投稿日: 2025年3月11日 作成者: jarxiv

要約

マルチロボットテクノロジーの進歩により、協同組合探査タスクは注目を集めています。
このペーパーでは、マルチロボット協同組合探査システムの包括的なレビューを紹介します。
まず、ロボット探査の進化をレビューし、マルチロボット協同組合探査に合わせたモジュラー研究フレームワークを導入します。
このフレームワークに基づいて、主要なシステムコンポーネントを体系的に分類および要約します。
マルチロボット探索の基礎モジュールとして、ローカリゼーションとマッピングモジュールは、主にグローバルおよび相対的なポーズ推定、およびマルチロボットマップ合併手法に焦点を当てることにより導入されます。
協同モーションモジュールは、学習ベースのアプローチとマルチステージ計画にさらに分けられ、後者にはターゲット生成、タスクの割り当て、およびモーション計画戦略が含まれます。
実際の環境の通信制約を考えると、通信モジュールも分析し、ロボットがローカル通信範囲内および限られた伝送機能の下でどのように情報を交換するかを強調します。
最後に、現実世界の傾向に照らして、マルチロボット協同組合探査の課題と将来の研究の方向性について説明します。
このレビューは、この分野の研究者と実践者にとって貴重な参照として機能することを目的としています。

要約(オリジナル)

With the advancement of multi-robot technology, cooperative exploration tasks have garnered increasing attention. This paper presents a comprehensive review of multi-robot cooperative exploration systems. First, we review the evolution of robotic exploration and introduce a modular research framework tailored for multi-robot cooperative exploration. Based on this framework, we systematically categorize and summarize key system components. As a foundational module for multi-robot exploration, the localization and mapping module is primarily introduced by focusing on global and relative pose estimation, as well as multi-robot map merging techniques. The cooperative motion module is further divided into learning-based approaches and multi-stage planning, with the latter encompassing target generation, task allocation, and motion planning strategies. Given the communication constraints of real-world environments, we also analyze the communication module, emphasizing how robots exchange information within local communication ranges and under limited transmission capabilities. Finally, we discuss the challenges and future research directions for multi-robot cooperative exploration in light of real-world trends. This review aims to serve as a valuable reference for researchers and practitioners in the field.

arxiv情報

著者 Chuqi Wang,Chao Yu,Xin Xu,Yuman Gao,Xinyi Yang,Wenhao Tang,Shu’ang Yu,Yinuo Chen,Feng Gao,ZhuoZhu Jian,Xinlei Chen,Fei Gao,Boyu Zhou,Yu Wang
発行日 2025-03-10 12:58:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Multi-Robot System for Cooperative Exploration in Unknown Environments: A Survey はコメントを受け付けていません

Bioinspired Sensing of Undulatory Flow Fields Generated by Leg Kicks in Swimming

投稿日: 2025年3月11日 作成者: jarxiv

要約

人工ラテラルライン（ALL）は、分散フローセンサーで構成される水中ロボット向けのバイオインスピレーションフローセンシングシステムです。
すべてが成功裏に適用され、体の覆い脈とバイオインスピレーションを受けたロボット魚の尾吸いによって生成された波状の流れ場が検出されました。
ただし、水泳中に人間のレッグキックによって生成された波打つフローフィールドを感知する可能性とパフォーマンスは、体系的にテストおよび研究されていません。
このペーパーでは、スイマーのレッグキックによって生成された波状の流れ場を調査するための新しいセンシングフレームワークを紹介し、バイオインスパイアのすべてのセンシングを活用しています。
Swimmer Leg Kicksによって生成された波打つフローフィールドを感知するためにAllシステムを使用する可能性を評価するために、このペーパーは、すべてのシステムと実験室で構築された人間の脚モデルを統合する実験プラットフォームを設計します。
フローセンシングの精度を高めるために、このホワイトペーパーでは、時間領域と時間周波数の特性を動的に融合する特徴抽出方法を提案します。
具体的には、時間領域の特徴は、1次元の畳み込みニューラルネットワークと双方向の長期メモリネットワーク（1DCNN-BILSTM）を使用して抽出されますが、時間周波数の特徴は、短期フーリエ変換と2次元の畳み込みニューラルネットワーク（STFT-2DCNN）を使用して抽出されます。
これらの機能は、注意メカニズムに基づいて動的に融合し、波打つ流れ場の正確なセンシングを実現します。
さらに、レッグキックパターン認識や脚の局在を蹴るなど、人間の水泳に触発されたさまざまなシナリオをテストするために、広範な実験が行われ、満足のいく結果が得られます。

要約(オリジナル)

The artificial lateral line (ALL) is a bioinspired flow sensing system for underwater robots, comprising of distributed flow sensors. The ALL has been successfully applied to detect the undulatory flow fields generated by body undulation and tail-flapping of bioinspired robotic fish. However, its feasibility and performance in sensing the undulatory flow fields produced by human leg kicks during swimming has not been systematically tested and studied. This paper presents a novel sensing framework to investigate the undulatory flow field generated by swimmer’s leg kicks, leveraging bioinspired ALL sensing. To evaluate the feasibility of using the ALL system for sensing the undulatory flow fields generated by swimmer leg kicks, this paper designs an experimental platform integrating an ALL system and a lab-fabricated human leg model. To enhance the accuracy of flow sensing, this paper proposes a feature extraction method that dynamically fuses time-domain and time-frequency characteristics. Specifically, time-domain features are extracted using one-dimensional convolutional neural networks and bidirectional long short-term memory networks (1DCNN-BiLSTM), while time-frequency features are extracted using short-term Fourier transform and two-dimensional convolutional neural networks (STFT-2DCNN). These features are then dynamically fused based on attention mechanisms to achieve accurate sensing of the undulatory flow field. Furthermore, extensive experiments are conducted to test various scenarios inspired by human swimming, such as leg kick pattern recognition and kicking leg localization, achieving satisfactory results.

arxiv情報

著者 Jun Wang,Tongsheng Shen,Dexin Zhao,Feitian Zhang
発行日 2025-03-10 13:32:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Bioinspired Sensing of Undulatory Flow Fields Generated by Leg Kicks in Swimming はコメントを受け付けていません

A Decapod Robot with Rotary Bellows-Enclosed Soft Transmissions

投稿日: 2025年3月11日 作成者: jarxiv

要約

柔らかいクロールロボットは、さまざまな地形で効率的な移動を示し、多様な環境条件に対する堅牢性を示しています。
ここでは、ロータリーベローズで描かれたソフトトランスミッションシステム（Rベスト）を統合するバルフェスソフトレッグロボットを提案します。
提案されているRベストは、サーボ回転を脚のスイングモーションに直接送信できます。
タイミングベルトは、r-bestsのペアを制御して、反対の段階での同期回転を維持し、歩行と回転の交互の三脚歩行を実現します。
R-Bestsの入力Bellowsユニットのねじれにおける補強骨格の役割を理解するために、いくつかの設計を調査しました。
ロボット脚の曲げシーケンスは、出力ベローズユニットの構造設計を通じて制御されます。
最後に、ソフトロボットティアポッドを使用して、無視された移動を示します。
実験結果は、ロボットが毎秒1.75センチ（1秒あたり0.07体の長さ）で90分間歩くことができることを示しており、半径15センチメートル（0.6 BL）で回転し、200 gのペイロードを持ち、異なる地形に適応します。

要約(オリジナル)

Soft crawling robots exhibit efficient locomotion across various terrains and demonstrate robustness to diverse environmental conditions. Here, we propose a valveless soft-legged robot that integrates a pair of rotary bellows-enclosed soft transmission systems (R-BESTS). The proposed R-BESTS can directly transmit the servo rotation into leg swing motion. A timing belt controls the pair of R-BESTS to maintain synchronous rotation in opposite phases, realizing alternating tripod gaits of walking and turning. We explored several designs to understand the role of a reinforcement skeleton in twisting the R-BESTS’ input bellows units. The bending sequences of the robot legs are controlled through structural design for the output bellows units. Finally, we demonstrate untethered locomotion with the soft robotic decapod. Experimental results show that our robot can walk at 1.75 centimeters per second (0.07 body length per second) for 90 min, turn with a 15-centimeter (0.6 BL) radius, carry a payload of 200 g, and adapt to different terrains.

arxiv情報

著者 Yiming He,Yuchen Wang,Yunjia Zhang,Shuguang Li
発行日 2025-03-10 13:38:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | A Decapod Robot with Rotary Bellows-Enclosed Soft Transmissions はコメントを受け付けていません

Tactile-based force estimation for interaction control with robot fingers

投稿日: 2025年3月11日 作成者: jarxiv

要約

微細な器用な操作には、マニピュレーターとオブジェクトの相互作用の豊富なセンシングに基づいた反応性制御が必要です。
触覚センシングアレイは、マニピュレーターの表面全体に豊富な連絡先情報を提供します。
ただし、その実装は、ロボットハンドなどの複雑な表面全体での正確な力の推定と、これらの推定値の反応性制御ループへの統合という2つの主な課題に直面しています。
さまざまなジオメトリ全体で迅速かつフルレイの力の推定を可能にするデータ効率の高いキャリブレーション方法を提示し、非線形性と変形効果を説明するオンラインフィードバックを提供します。
私たちのフォース推定モデルは、相互作用力追跡のためのオンライン閉ループ制御システムのフィードバックとして機能します。
推定値の精度は、較正されたフォーストルクセンサーからの測定に対して独立して検証されます。
Xela Uskinセンサーを装備したAllegroハンドを使用して、100Hzで実行されるアドミタンスコントロールループを介して正確な力アプリケーションを実証し、器用な操作の有望な可能性を示す最大0.12 +/- 0.08 [n]エラーマージン結果を達成します。

要約(オリジナル)

Fine dexterous manipulation requires reactive control based on rich sensing of manipulator-object interactions. Tactile sensing arrays provide rich contact information across the manipulator’s surface. However their implementation faces two main challenges: accurate force estimation across complex surfaces like robotic hands, and integration of these estimates into reactive control loops. We present a data-efficient calibration method that enables rapid, full-array force estimation across varying geometries, providing online feedback that accounts for non-linearities and deformation effects. Our force estimation model serves as feedback in an online closed-loop control system for interaction force tracking. The accuracy of our estimates is independently validated against measurements from a calibrated force-torque sensor. Using the Allegro Hand equipped with Xela uSkin sensors, we demonstrate precise force application through an admittance control loop running at 100Hz, achieving up to 0.12+/-0.08 [N] error margin-results that show promising potential for dexterous manipulation.

arxiv情報

著者 Elie Chelly,Andrea Cherubini,Philippe Fraisse,Faiz Ben Amar,Mahdi Khoramshahi
発行日 2025-03-10 13:38:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Tactile-based force estimation for interaction control with robot fingers はコメントを受け付けていません