Tiny Lidars for Manipulator Self-Awareness: Sensor Characterization and Initial Localization Experiments

投稿日: 2025年3月6日 作成者: jarxiv

要約

操作から検査まで、いくつかのタスクでは、ロボットが周囲のターゲットオブジェクトをローカライズすることが有益です。
この論文では、小型化されたVL53L5CX飛行時間（TOF）センサー（Tiny LIDARS）から得られた粗いポイント雲を利用して、ロボットのワークスペースにターゲットオブジェクトをローカライズするアプローチを提案します。
まず、相対範囲とターゲットへの方向に対するセンサーの測定値の依存度を較正するための実験的なキャンペーンを実施します。
次に、粒子フィルター（PF）を使用してオブジェクトポーズ推定タスクで検証された確率センサーモデルを提案します。
結果は、提案されたセンサーモデルが2つのベースラインに対するターゲットオブジェクトのローカリゼーションのパフォーマンスを改善することを示しています。1つは測定が不確実性がないことを想定し、センサーデータシートによって信頼性が提供されるものです。

要約(オリジナル)

For several tasks, ranging from manipulation to inspection, it is beneficial for robots to localize a target object in their surroundings. In this paper, we propose an approach that utilizes coarse point clouds obtained from miniaturized VL53L5CX Time-of-Flight (ToF) sensors (tiny lidars) to localize a target object in the robot’s workspace. We first conduct an experimental campaign to calibrate the dependency of sensor readings on relative range and orientation to targets. We then propose a probabilistic sensor model that is validated in an object pose estimation task using a Particle Filter (PF). The results show that the proposed sensor model improves the performance of the localization of the target object with respect to two baselines: one that assumes measurements are free from uncertainty and one in which the confidence is provided by the sensor datasheet.

arxiv情報

著者 Giammarco Caroleo,Alessandro Albini,Daniele De Martini,Timothy D. Barfoot,Perla Maiolino
発行日 2025-03-05 12:26:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Tiny Lidars for Manipulator Self-Awareness: Sensor Characterization and Initial Localization Experiments はコメントを受け付けていません

Generative Artificial Intelligence in Robotic Manipulation: A Survey

投稿日: 2025年3月6日 作成者: jarxiv

要約

この調査は、ロボット操作における生成学習モデルの最近の進歩に関する包括的なレビューを提供し、この分野の重要な課題に対処します。
ロボット操作は、不十分なデータや非効率的なデータ収集、長老および複雑なタスク計画、および多様な環境にわたる堅牢なポリシー学習パフォーマンスのマルチモダリティ推論能力など、重要なボトルネックに直面しています。
これらの課題に取り組むために、この調査では、生成敵対的ネットワーク（GANS）、変動自己エンコーダー（VAE）、拡散モデル、確率的フローモデル、自己回帰モデルなど、いくつかの生成モデルパラダイムを紹介し、強度と制限を強調しています。
これらのモデルのアプリケーションは、データ生成と報酬生成に焦点を当てた基礎層の3つの階層層に分類されます。
言語、コード、視覚、および州の世代をカバーする中間層。
そして、把握の生成と軌跡の生成を強調する政策層。
各レイヤーは、最先端を進めた顕著な作品とともに詳細に調査されています。
最後に、この調査では、将来の研究の方向性と課題の概要を説明し、データ利用の効率を改善し、長期タスクのより良い取り扱い、多様なロボットシナリオ全体の一般化の強化の必要性を強調しています。
研究論文、オープンソースデータ、プロジェクトを含む関連するすべてのリソースは、https://github.com/gai4manipulation/awesomegaimanipulationのコミュニティ向けに収集されます

要約(オリジナル)

This survey provides a comprehensive review on recent advancements of generative learning models in robotic manipulation, addressing key challenges in the field. Robotic manipulation faces critical bottlenecks, including significant challenges in insufficient data and inefficient data acquisition, long-horizon and complex task planning, and the multi-modality reasoning ability for robust policy learning performance across diverse environments. To tackle these challenges, this survey introduces several generative model paradigms, including Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), diffusion models, probabilistic flow models, and autoregressive models, highlighting their strengths and limitations. The applications of these models are categorized into three hierarchical layers: the Foundation Layer, focusing on data generation and reward generation; the Intermediate Layer, covering language, code, visual, and state generation; and the Policy Layer, emphasizing grasp generation and trajectory generation. Each layer is explored in detail, along with notable works that have advanced the state of the art. Finally, the survey outlines future research directions and challenges, emphasizing the need for improved efficiency in data utilization, better handling of long-horizon tasks, and enhanced generalization across diverse robotic scenarios. All the related resources, including research papers, open-source data, and projects, are collected for the community in https://github.com/GAI4Manipulation/AwesomeGAIManipulation

arxiv情報

著者 Kun Zhang,Peng Yun,Jun Cen,Junhao Cai,Didi Zhu,Hangjie Yuan,Chao Zhao,Tao Feng,Michael Yu Wang,Qifeng Chen,Jia Pan,Bo Yang,Hua Chen
発行日 2025-03-05 12:54:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Generative Artificial Intelligence in Robotic Manipulation: A Survey はコメントを受け付けていません

Continuous Control of Diverse Skills in Quadruped Robots Without Complete Expert Datasets

投稿日: 2025年3月6日 作成者: jarxiv

要約

四足動物の多様なスキルを学ぶことは、さまざまなスキルの間の複雑な移行を習得したり、さまざまな難しさのタスクを処理するなど、重要な課題をもたらします。
既存の模倣学習方法は、成功しますが、専門家の行動を再現するために高価なデータセットに依存しています。
内省的な学習に触発され、私たちは、完全な専門家データセットの必要性を排除する新しい方法である、進歩的な敵対的な自己想像スキル移行（PASIST）を提案します。
Pasistは、デモンストレーションの代わりに事前に定義されたターゲットポーズに基づいて高品質の軌跡を自律的に調査および選択し、生成的敵対的自己想像学習（GASIL）フレームワークを活用します。
学習をさらに強化するために、スキルの重みとさまざまなレベルの難易度のバランスをとることにより、モード崩壊を緩和するスキル選択モジュールを開発します。
これらの方法により、Pasistはターゲットポーズに対応するスキルを再現し、それらの間のスムーズで自然な移行を達成します。
シミュレーションプラットフォームとSOLO 8ロボットの両方での評価は、Pasistの有効性を確認し、専門家主導の学習に代わる効率的な代替品を提供します。

要約(オリジナル)

Learning diverse skills for quadruped robots presents significant challenges, such as mastering complex transitions between different skills and handling tasks of varying difficulty. Existing imitation learning methods, while successful, rely on expensive datasets to reproduce expert behaviors. Inspired by introspective learning, we propose Progressive Adversarial Self-Imitation Skill Transition (PASIST), a novel method that eliminates the need for complete expert datasets. PASIST autonomously explores and selects high-quality trajectories based on predefined target poses instead of demonstrations, leveraging the Generative Adversarial Self-Imitation Learning (GASIL) framework. To further enhance learning, We develop a skill selection module to mitigate mode collapse by balancing the weights of skills with varying levels of difficulty. Through these methods, PASIST is able to reproduce skills corresponding to the target pose while achieving smooth and natural transitions between them. Evaluations on both simulation platforms and the Solo 8 robot confirm the effectiveness of PASIST, offering an efficient alternative to expert-driven learning.

arxiv情報

著者 Jiaxin Tu,Xiaoyi Wei,Yueqi Zhang,Taixian Hou,Xiaofei Gao,Zhiyan Dong,Peng Zhai,Lihua Zhang
発行日 2025-03-05 13:12:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Continuous Control of Diverse Skills in Quadruped Robots Without Complete Expert Datasets はコメントを受け付けていません

SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Safe Reinforcement Learning

投稿日: 2025年3月6日 作成者: jarxiv

要約

Vision-Language-actionモデル（VLA）は、ジェネラリストのロボットポリシーとして大きな可能性を示しています。
ただし、これらのモデルは、環境、ロボット自体、人間への身体的危害のリスクなど、展開中に緊急の安全性の課題をもたらします。
どのようにして安全性をVLAに明示的に組み込むことができますか？
この作業では、安全性をVLAに統合するために設計された新しいアルゴリズムであるSafevlaを提案し、環境、ロボットハードウェア、および人間の現実世界の設定を保証します。
SAFEVLAは、シミュレートされた環境内で大規模な制約のある学習を採用することにより、安全性とタスクのパフォーマンスのバランスを効果的にバランスさせます。
Safevlaは、安全性とタスクパフォ​​ーマンスの両方で現在の最先端の方法を上回り、シミュレーションでそれぞれ83.58％と3.85％の平均改善を達成することを実証します。
安全性に優先順位を付けることにより、私たちのアプローチは高リスクの動作を排除し、安全でない動作の上限を1/35に減らし、現在の最先端のリスクを大幅に軽減します。
さらに、学習した安全性の制約は、複数の分散式の摂動やタスクを含む、多様で目に見えないシナリオに一般化されます。
当社のデータ、モデル、新たに提案されたベンチマーク環境は、https：//sites.google.com/view/pku-safevlaで入手できます。

要約(オリジナル)

Vision-language-action models (VLAs) have shown great potential as generalist robot policies. However, these models pose urgent safety challenges during deployment, including the risk of physical harm to the environment, the robot itself, and humans. How can safety be explicitly incorporated into VLAs? In this work, we propose SafeVLA, a novel algorithm designed to integrate safety into VLAs, ensuring the protection of the environment, robot hardware and humans in real-world settings. SafeVLA effectively balances safety and task performance by employing large-scale constrained learning within simulated environments. We demonstrate that SafeVLA outperforms the current state-of-the-art method in both safety and task performance, achieving average improvements of 83.58% and 3.85%, respectively, in simulation. By prioritizing safety, our approach eliminates high-risk behaviors and reduces the upper bound of unsafe behaviors to 1/35 of that in the current state-of-the-art, thereby significantly mitigating long-tail risks. Furthermore, the learned safety constraints generalize to diverse, unseen scenarios, including multiple out-of-distribution perturbations and tasks. Our data, models and newly proposed benchmark environment are available at https://sites.google.com/view/pku-safevla.

arxiv情報

著者 Borong Zhang,Yuhao Zhang,Jiaming Ji,Yingshan Lei,Josef Dai,Yuanpei Chen,Yaodong Yang
発行日 2025-03-05 13:16:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Safe Reinforcement Learning はコメントを受け付けていません

Coordinated Trajectories for Non-stop Flying Carriers Holding a Cable-Suspended Load

投稿日: 2025年3月6日 作成者: jarxiv

要約

マルチローターUAVは通常、空中操作のために考慮されていますが、耐久性が低いため、長期にわたる操作タスクが防止されます。
この作業は、3つ以上のキャリアのノンストップ飛行が、ケーブル懸濁液の一定のポーズを保持することと互換性があり、したがって、エネルギー効率の高いノンストップキャリアによる空中操作を可能にする可能性があることを示しています。
また、調整されたノンストップ軌道を生成するためのアルゴリズムも提示します。
提案された方法は、2つの柱の上に構築されます。（1）〜$ n $の選択は、荷重のハミルトンサイクルのエッジとして選択された荷重マトリックスの$ 3N-6 $次元ヌルスペース内の内部力の特別な線形独立方向の選択です。
隣接する方向のペアは、3Dで一般的にアタッチメントポイントがあるにもかかわらず、異なる2Dアフィンサブスペースで進化する$ n $力を生成するために使用されます。
（2）〜適切なグラフの色をマッピングすることにより、これらのサブスペース内の楕円形の軌跡の構築は、ハミルトニアンサイクルの各エッジを周期座標までの各エッジに合わせて、隣接する座標が同時ゼロ誘導体を示すことを保証します。
これらの選択により、荷重の静的およびアタッチメントポイント位置の条件と組み合わされて、$ n $ force軌道のそれぞれが、非ゼロの接線速度を持つ対応するケーブル制約球にプロジェクトを行い、負荷がまだ残っている間にキャリアの永続的な動きを可能にします。
理論的な調査結果は、シミュレーションと非止めマルチローターUAVを使用した実験室実験を通じて検証されます。

要約(オリジナル)

Multirotor UAVs have been typically considered for aerial manipulation, but their scarce endurance prevents long-lasting manipulation tasks. This work demonstrates that the non-stop flights of three or more carriers are compatible with holding a constant pose of a cable-suspended load, thus potentially enabling aerial manipulation with energy-efficient non-stop carriers. It also presents an algorithm for generating the coordinated non-stop trajectories. The proposed method builds upon two pillars: (1)~the choice of $n$ special linearly independent directions of internal forces within the $3n-6$-dimensional nullspace of the grasp matrix of the load, chosen as the edges of a Hamiltonian cycle on the graph that connects the cable attachment points on the load. Adjacent pairs of directions are used to generate $n$ forces evolving on distinct 2D affine subspaces, despite the attachment points being generically in 3D; (2)~the construction of elliptical trajectories within these subspaces by mapping, through appropriate graph coloring, each edge of the Hamiltonian cycle to a periodic coordinate while ensuring that no adjacent coordinates exhibit simultaneous zero derivatives. Combined with conditions for load statics and attachment point positions, these choices ensure that each of the $n$ force trajectories projects onto the corresponding cable constraint sphere with non-zero tangential velocity, enabling perpetual motion of the carriers while the load is still. The theoretical findings are validated through simulations and laboratory experiments with non-stopping multirotor UAVs.

arxiv情報

著者 Chiara Gabellieri,Antonio Franchi
発行日 2025-03-05 13:17:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Coordinated Trajectories for Non-stop Flying Carriers Holding a Cable-Suspended Load はコメントを受け付けていません

CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision

投稿日: 2025年3月6日 作成者: jarxiv

要約

ロボットを教えると、現実世界の環境でスキルが希望することは、特に非専門家にとっては依然として困難です。
重要なボトルネックは、ロボットデータを収集するには、多くの場合、専門知識や特殊なハードウェアが必要であり、アクセシビリティとスケーラビリティを制限することです。
自然言語は、ロボット学習のための直感的でアクセス可能なインターフェイスを提供すると仮定します。
この目的のために、（1）非専門家が自然言語の監督を通じてロボットデータを収集できるようにする（例：「腕を右に移動する」」）、（2）この監督から直接ロボットポリシーを直接学習することを可能にする。
具体的には、自然言語の監督に基づいてロボットデモンストレーションを収集し、これらのデモンストレーションをさらに増強するデータ収集フレームワークを紹介します。
次に、この監督から言語条件の視覚運動ポリシーを学習するビジョン言語アクション（VLA）モデルであるClip-RTを提示します。
Clip-RTは、前処理されたクリップモデルを適応し、対照的な模倣学習を介して言語ベースのモーションプリミティブを予測することを学びます。
オープンなX-embodimentデータセットでClip-RTをトレーニングし、さまざまなスキルを学ぶためにフレームワークによって収集されたドメイン内データでFINTUNEを獲得します。
CLIP-RTは、新しい操作スキルを学習し、最先端のモデルであるOpenVLA（7Bパラメーター）を平均成功率で24％上回る強力な能力を示し、7倍のパラメーター（1B）を使用します。
さらに、Clip-RTが少数のショット一般化の大幅な改善を示していることを観察します。
最後に、人間や大規模な事前に守られたモデルとのコラボレーションを通じて、CLIP-RTが挑戦的なロボットタスクに関する一般化をさらに改善できることを実証します。

要約(オリジナル)

Teaching robots desired skills in real-world environments remains challenging, especially for non-experts. A key bottleneck is that collecting robotic data often requires expertise or specialized hardware, limiting accessibility and scalability. We posit that natural language offers an intuitive and accessible interface for robot learning. To this end, we study two aspects: (1) enabling non-experts to collect robotic data through natural language supervision (e.g., ‘move the arm to the right’) and (2) learning robotic policies directly from this supervision. Specifically, we introduce a data collection framework that collects robot demonstrations based on natural language supervision and further augments these demonstrations. We then present CLIP-RT, a vision-language-action (VLA) model that learns language-conditioned visuomotor policies from this supervision. CLIP-RT adapts the pretrained CLIP models and learns to predict language-based motion primitives via contrastive imitation learning. We train CLIP-RT on the Open X-Embodiment dataset and finetune it on in-domain data collected by our framework to learn diverse skills. CLIP-RT demonstrates strong capabilities in learning novel manipulation skills, outperforming the state-of-the-art model, OpenVLA (7B parameters), by 24% in average success rates, while using 7x fewer parameters (1B). We further observe that CLIP-RT shows significant improvements in few-shot generalization. Finally, through collaboration with humans or large pretrained models, we demonstrate that CLIP-RT can further improve its generalization on challenging robotic tasks.

arxiv情報

著者 Gi-Cheon Kang,Junghyun Kim,Kyuhwan Shim,Jun Ki Lee,Byoung-Tak Zhang
発行日 2025-03-05 13:41:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision はコメントを受け付けていません

Learn from the Past: Language-conditioned Object Rearrangement with Large Language Models

投稿日: 2025年3月6日 作成者: jarxiv

要約

特定の目標状態への再配置のオブジェクト操作は、共同ロボットにとって重要なタスクです。
オブジェクトの配置を正確に決定することは重要な課題です。誤った調整はタスクの複雑さと衝突のリスクを高め、再配置プロセスの効率に影響を与える可能性があるためです。
現在のほとんどの方法は、ゴールポジションを予測するためにモデルをトレーニングするために、事前に収集されたデータセットに大きく依存しています。
その結果、これらの方法は特定の命令に制限されており、より幅広い適用性と一般化を制限します。
この論文では、大規模な言語モデル（LLM）に基づいて、柔軟な言語条件付きオブジェクト再配置のフレームワークを提案します。
私たちのアプローチは、現在の望ましい目標位置を達成するための最良の戦略を推測するための参照として、成功した過去の経験を利用することにより、人間の推論を模倣します。
LLMの強力な自然言語の理解と推論能力に基づいて、私たちの方法は、さまざまな日常のオブジェクトと自由形式の言語命令をゼロショット方法で処理するために一般化します。
実験結果は、長い順序のシーケンスを含む方法でさえ、私たちの方法がロボット再配置タスクを効果的に実行できることを示しています。

要約(オリジナル)

Object manipulation for rearrangement into a specific goal state is a significant task for collaborative robots. Accurately determining object placement is a key challenge, as misalignment can increase task complexity and the risk of collisions, affecting the efficiency of the rearrangement process. Most current methods heavily rely on pre-collected datasets to train the model for predicting the goal position. As a result, these methods are restricted to specific instructions, which limits their broader applicability and generalisation. In this paper, we propose a framework of flexible language-conditioned object rearrangement based on the Large Language Model (LLM). Our approach mimics human reasoning by making use of successful past experiences as a reference to infer the best strategies to achieve a current desired goal position. Based on LLM’s strong natural language comprehension and inference ability, our method generalises to handle various everyday objects and free-form language instructions in a zero-shot manner. Experimental results demonstrate that our methods can effectively execute the robotic rearrangement tasks, even those involving long sequences of orders.

arxiv情報

著者 Guanqun Cao,Ryan Mckenna,Erich Graf,John Oyekan
発行日 2025-03-05 13:54:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Learn from the Past: Language-conditioned Object Rearrangement with Large Language Models はコメントを受け付けていません

A Benchmark for Optimal Multi-Modal Multi-Robot Multi-Goal Path Planning with Given Robot Assignment

投稿日: 2025年3月6日 作成者: jarxiv

要約

多くの産業用ロボットアプリケーションでは、複数のロボットが共有ワークスペースで作業して、可能な限り迅速に一連のタスクを完了しています。
このような設定は、各ロボットが順序付けられた一連の目標に達する必要があるマルチモーダルマルチロボットマルチゴールパス計画の問題として扱うことができます。
このタイプの問題に対する既存のアプローチは、優先順位付けを使用してこれを解決するか、タスクの同期完了を想定するため、最適でも完全でもありません。
この問題を単一のパス計画の問題として形式化し、さまざまなロボットを備えたシナリオ、計画の視野、およびハンドオーバーなどの共同タスクなど、さまざまな問題インスタンスを含むベンチマークを導入します。
ベンチマークに加えて、RRT*とPRM*プランナーを適応させて、計画問題のベースラインとして機能します。
両方のプランナーは、すべてのロボットの複合空間で動作し、必要な変更を設定で動作させます。
既存のアプローチとは異なり、当社のプランナーと定式化は離散化された2Dワークスペースに限定されず、変化する環境をサポートし、異なる制約と複数の目標を持つ複数のモードで異種ロボットチームの動作をします。
ベンチマークとプランナーのビデオとコードは、https：//vhartman.github.io/mrmg-planning/で入手できます。

要約(オリジナル)

In many industrial robotics applications, multiple robots are working in a shared workspace to complete a set of tasks as quickly as possible. Such settings can be treated as multi-modal multi-robot multi-goal path planning problems, where each robot has to reach an ordered sequence of goals. Existing approaches to this type of problem solve this using prioritization or assume synchronous completion of tasks, and are thus neither optimal nor complete. We formalize this problem as a single path planning problem and introduce a benchmark encompassing a diverse range of problem instances including scenarios with various robots, planning horizons, and collaborative tasks such as handovers. Along with the benchmark, we adapt an RRT* and a PRM* planner to serve as a baseline for the planning problems. Both planners work in the composite space of all robots and introduce the required changes to work in our setting. Unlike existing approaches, our planner and formulation is not restricted to discretized 2D workspaces, supports a changing environment, and works for heterogeneous robot teams over multiple modes with different constraints, and multiple goals. Videos and code for the benchmark and the planners is available at https://vhartman.github.io/mrmg-planning/.

arxiv情報

著者 Valentin N. Hartmann,Tirza Heinle,Stelian Coros
発行日 2025-03-05 13:57:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | A Benchmark for Optimal Multi-Modal Multi-Robot Multi-Goal Path Planning with Given Robot Assignment はコメントを受け付けていません

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

投稿日: 2025年3月6日 作成者: jarxiv

要約

透明性と鏡面オブジェクトを使用したシーンでのロボット把握は、正確な深さ情報に依存する方法に大きな課題を提示します。
このホワイトペーパーでは、材料と存在する把握検出のためにバックグラウンドプライアーを活用する神経表面再構成方法であるNeugraspを紹介します。
Neugraspは、変圧器とグローバルな以前のボリュームを統合して、マルチビュー機能を空間エンコードで集約し、狭くてまばらな視聴条件で堅牢な表面再構成を可能にします。
残留特徴の強化と占有率の空間知覚を洗練することにより、フォアグラウンドオブジェクトに焦点を合わせることにより、Neugraspは透明で鏡面表面を備えたオブジェクトの取り扱いに優れています。
シミュレートされたシナリオと実世界の両方のシナリオでの広範な実験は、neugraspが同等の再構築品質を維持しながら、把握する最先端の方法よりも優れていることを示しています。
詳細については、https：//neugrasp.github.io/をご覧ください。

要約(オリジナル)

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.

arxiv情報

著者 Qingyu Fan,Yinghao Cai,Chao Li,Wenzhe He,Xudong Zheng,Tao Lu,Bin Liang,Shuo Wang
発行日 2025-03-05 13:57:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO, I.2.10 | NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection はコメントを受け付けていません

A Magnetic-Actuated Vision-Based Whisker Array for Contact Perception and Grasping

投稿日: 2025年3月6日 作成者: jarxiv

要約

触覚と繊細なオブジェクトの操作は、ロボット工学における重要な課題です。
この研究では、これらの機能を統合するビジョンベースの磁気描画ウィスカーアレイセンサーを提示します。
センサーには、エラストマー膜でサポートされ、電磁石と永久磁石によって作動する8つのひげが円形に配置されています。
カメラはひげの動きを追跡し、高解像度の触覚フィードバックを可能にします。
センサーのパフォーマンスは、オブジェクトの分類と把握実験を通じて評価されました。
分類実験では、センサーは4つの方向からオブジェクトに近づき、マルチ層パーセプトロンモデルを使用して99.17％の分類精度で5つの異なるオブジェクトを正確に識別しました。
把握実験では、センサーは8、4、および2つのひげの構成をテストし、8つのひげで87％の最高の成功率を達成しました。
これらの結果は、正確な触覚センシングと信頼できる操作のセンサーの可能性を強調しています。

要約(オリジナル)

Tactile sensing and the manipulation of delicate objects are critical challenges in robotics. This study presents a vision-based magnetic-actuated whisker array sensor that integrates these functions. The sensor features eight whiskers arranged circularly, supported by an elastomer membrane and actuated by electromagnets and permanent magnets. A camera tracks whisker movements, enabling high-resolution tactile feedback. The sensor’s performance was evaluated through object classification and grasping experiments. In the classification experiment, the sensor approached objects from four directions and accurately identified five distinct objects with a classification accuracy of 99.17% using a Multi-Layer Perceptron model. In the grasping experiment, the sensor tested configurations of eight, four, and two whiskers, achieving the highest success rate of 87% with eight whiskers. These results highlight the sensor’s potential for precise tactile sensing and reliable manipulation.

arxiv情報

著者 Zhixian Hu,Juan Wachs,Yu She
発行日 2025-03-05 14:40:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | A Magnetic-Actuated Vision-Based Whisker Array for Contact Perception and Grasping はコメントを受け付けていません