EvTTC: An Event Camera Dataset for Time-to-Collision Estimation

投稿日: 2025年4月23日 作成者: jarxiv

要約

衝突までの時間（TTC）の推定は、すべての自動緊急ブレーキ（AEB）システムの鍵である前方衝突警告（FCW）機能の中核にあります。
フレームベースのカメラを使用したソリューションの成功（Mobileyeのソリューションなど）は通常の状況で目撃されていますが、主要車両の相対速度の突然の変動や歩行者の突然の出現など、いくつかの極端なケースは、依然として処理できない重大なリスクをもたらします。
これは、フレームベースのカメラの固有のイメージング原理によるもので、隣接する露出間の時間間隔がAEBにかなりのシステム遅延を導入します。
新しいバイオ風のセンサーとしてのイベントカメラは、超高速分解能を提供し、マイクロ秒レベルで明るさの変化を非同期に報告できます。
上記の挑戦的なケースでイベントカメラの可能性を調査するために、EVTTCを提案します。これは、私たちの知る限り、高関連スピードシナリオの下でTTCタスクに焦点を当てた最初のマルチセンサーデータセットです。
EVTTCは、標準カメラとイベントカメラを使用して収集されたデータで構成され、毎日の運転と複数の衝突オブジェクトが関与するさまざまな潜在的な衝突シナリオをカバーしています。
さらに、グラウンドトゥルースTTCの計算には、LidarおよびGNSS/INS測定が提供されています。
本格的なモバイルプラットフォームでTTCアルゴリズムをテストするコストが高いことを考慮すると、実験的検証とデータ増強のための小規模なTTCテストも提供します。
テストベッドのすべてのデータと設計はオープンソースであり、ビジョンベースのTTC技術の開発を促進するベンチマークとして機能できます。

要約(オリジナル)

Time-to-Collision (TTC) estimation lies in the core of the forward collision warning (FCW) functionality, which is key to all Automatic Emergency Braking (AEB) systems. Although the success of solutions using frame-based cameras (e.g., Mobileye’s solutions) has been witnessed in normal situations, some extreme cases, such as the sudden variation in the relative speed of leading vehicles and the sudden appearance of pedestrians, still pose significant risks that cannot be handled. This is due to the inherent imaging principles of frame-based cameras, where the time interval between adjacent exposures introduces considerable system latency to AEB. Event cameras, as a novel bio-inspired sensor, offer ultra-high temporal resolution and can asynchronously report brightness changes at the microsecond level. To explore the potential of event cameras in the above-mentioned challenging cases, we propose EvTTC, which is, to the best of our knowledge, the first multi-sensor dataset focusing on TTC tasks under high-relative-speed scenarios. EvTTC consists of data collected using standard cameras and event cameras, covering various potential collision scenarios in daily driving and involving multiple collision objects. Additionally, LiDAR and GNSS/INS measurements are provided for the calculation of ground-truth TTC. Considering the high cost of testing TTC algorithms on full-scale mobile platforms, we also provide a small-scale TTC testbed for experimental validation and data augmentation. All the data and the design of the testbed are open sourced, and they can serve as a benchmark that will facilitate the development of vision-based TTC techniques.

arxiv情報

著者 Kaizhen Sun,Jinghang Li,Kuan Dai,Bangyan Liao,Wei Xiong,Yi Zhou
発行日 2025-04-22 05:06:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | EvTTC: An Event Camera Dataset for Time-to-Collision Estimation はコメントを受け付けていません

Grasping Deformable Objects via Reinforcement Learning with Cross-Modal Attention to Visuo-Tactile Inputs

投稿日: 2025年4月23日 作成者: jarxiv

要約

ロボットグリッパーを使用して、柔らかいシェルで変形可能なオブジェクトを把握する問題を考慮します。
そのようなオブジェクトには、動的に変化し、破裂しやすい壊れやすいマスの中心があります。
したがって、ロボットは、操作タスクを実行しながらオブジェクトをドロップまたは破損しないように、適切な制御入力を生成することが困難です。
マルチモーダルセンシングデータは、視覚データからのグローバルな情報（形状、ポーズなど）と、触覚データからの接触に関するローカル情報（たとえば、圧力）を通じてグローバル情報（形状、ポーズなど）を把握するのに役立ちます。
それらは一緒に使用するのに有益な補完的な情報を持っていますが、それらを融合することは、異なる特性のために困難です。
Visuo-Tactile Sensing情報から単純なグリッパーの制御入力を生成するディープ補強学習（DRL）に基づく方法を提案します。
私たちの方法は、エンコーダネットワークでクロスモーダルの注意モジュールを採用し、RLエージェントの損失関数を使用して自己監視方法でトレーニングします。
マルチモーダル融合により、提案された方法は、Visuo-Tactile感覚データからDRLエージェントの表現を学習できます。
実験結果は、目に見えないロボットの動きやオブジェクトなど、異なる環境で他の初期および遅いデータ融合方法を上回るのに効果的であることを示しています。

要約(オリジナル)

We consider the problem of grasping deformable objects with soft shells using a robotic gripper. Such objects have a center-of-mass that changes dynamically and are fragile so prone to burst. Thus, it is difficult for robots to generate appropriate control inputs not to drop or break the object while performing manipulation tasks. Multi-modal sensing data could help understand the grasping state through global information (e.g., shapes, pose) from visual data and local information around the contact (e.g., pressure) from tactile data. Although they have complementary information that can be beneficial to use together, fusing them is difficult owing to their different properties. We propose a method based on deep reinforcement learning (DRL) that generates control inputs of a simple gripper from visuo-tactile sensing information. Our method employs a cross-modal attention module in the encoder network and trains it in a self-supervised manner using the loss function of the RL agent. With the multi-modal fusion, the proposed method can learn the representation for the DRL agent from the visuo-tactile sensory data. The experimental result shows that cross-modal attention is effective to outperform other early and late data fusion methods across different environments including unseen robot motions and objects.

arxiv情報

著者 Yonghyun Lee,Sungeun Hong,Min-gu Kim,Gyeonghwan Kim,Changjoo Nam
発行日 2025-04-22 05:22:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Grasping Deformable Objects via Reinforcement Learning with Cross-Modal Attention to Visuo-Tactile Inputs はコメントを受け付けていません

Research on Navigation Methods Based on LLMs

投稿日: 2025年4月23日 作成者: jarxiv

要約

近年、屋内ナビゲーションの分野は、大規模な言語モデル（LLM）の統合を通じて画期的な進歩を目撃しています。
事前に構築されたマップまたは強化学習に依存する従来のナビゲーションアプローチは、一般化や動的環境への限定的な適応性などの制限を示しています。
対照的に、LLMは、例外的な意味理解、推論能力、およびゼロショット一般化プロパティを活用することにより、複雑な屋内ナビゲーションタスクの新しいパラダイムを提供します。
LLMを呼び出す機能を活用し、LLMを中央コントローラーとして配置するLLMベースのナビゲーションフレームワークを提案します。
私たちの方法論には、従来のナビゲーション関数を拡張可能な構成を備えた再利用可能なLLMツールへのモジュール式分解が含まれます。
これは、さまざまな実装にわたって簡単に適応できる体系的に設計された転送可能なシステムプロンプトテンプレートと相互作用ワークフローによって補完されます。
多様なシナリオにわたるpybulletシミュレーション環境での実験的検証は、特に動的ツール構成を通じてコン​​テキスト認識ナビゲーションを実現する際に、アプローチの実質的な潜在性と有効性を示しています。

要約(オリジナル)

In recent years, the field of indoor navigation has witnessed groundbreaking advancements through the integration of Large Language Models (LLMs). Traditional navigation approaches relying on pre-built maps or reinforcement learning exhibit limitations such as poor generalization and limited adaptability to dynamic environments. In contrast, LLMs offer a novel paradigm for complex indoor navigation tasks by leveraging their exceptional semantic comprehension, reasoning capabilities, and zero-shot generalization properties. We propose an LLM-based navigation framework that leverages function calling capabilities, positioning the LLM as the central controller. Our methodology involves modular decomposition of conventional navigation functions into reusable LLM tools with expandable configurations. This is complemented by a systematically designed, transferable system prompt template and interaction workflow that can be easily adapted across different implementations. Experimental validation in PyBullet simulation environments across diverse scenarios demonstrates the substantial potential and effectiveness of our approach, particularly in achieving context-aware navigation through dynamic tool composition.

arxiv情報

著者 Anlong Zhang,Jianmin Ji
発行日 2025-04-22 05:40:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Research on Navigation Methods Based on LLMs はコメントを受け付けていません

Complementarity-Free Multi-Contact Modeling and Optimization for Dexterous Manipulation

投稿日: 2025年4月23日 作成者: jarxiv

要約

モデルベースの方法がリアルタイムで汎用性の高い器用なロボット操作を達成するのを防ぐ重要な障壁は、マルチコンタクトダイナミクスの固有の複雑さです。
伝統的に相補性モデルとして定式化されていたマルチコンタクトダイナミクスは、非滑らかさと組み合わせの複雑さをもたらし、接触豊富な計画と最適化を複雑にします。
この論文では、軽量でありながら有能なマルチコンタクトモデルを導入することにより、これらの課題を回避します。
最適化ベースのコンタクトモデルの二重性から導き出された新しいモデルは、相補性構造を完全に分配し、閉じた時間ステップ、分化性、クーロン摩擦法の自動満足度、最小限のハイパーパラメーターチューニングなどの計算上の利点を提供します。
私たちは、指先の3D 3D操作、手の操作、およびアレグロのハンドオンパーム再配向性など、さまざまな挑戦的な器用な操作タスクにおける計画と制御のためのモデルの有効性と効率性を実証します。
私たちの方法は、一貫して最先端の結果を達成します：（i）すべてのオブジェクトとタスクにわたって96.5％の平均成功率、（ii）11 {\ deg}の平均方向再配向誤差と7.8mmの位置誤差、および（iii）すべてのオブジェクトとTasksの50-100 HZでの50-100 HZランニングランニングの接触モデル予測制御（
これらの結果は、最小限のハイパーパラメーターチューニングで達成されます。

要約(オリジナル)

A significant barrier preventing model-based methods from achieving real-time and versatile dexterous robotic manipulation is the inherent complexity of multi-contact dynamics. Traditionally formulated as complementarity models, multi-contact dynamics introduces non-smoothness and combinatorial complexity, complicating contact-rich planning and optimization. In this paper, we circumvent these challenges by introducing a lightweight yet capable multi-contact model. Our new model, derived from the duality of optimization-based contact models, dispenses with the complementarity constructs entirely, providing computational advantages such as closed-form time stepping, differentiability, automatic satisfaction with Coulomb friction law, and minimal hyperparameter tuning. We demonstrate the effectiveness and efficiency of the model for planning and control in a range of challenging dexterous manipulation tasks, including fingertip 3D in-air manipulation, TriFinger in-hand manipulation, and Allegro hand on-palm reorientation, all performed with diverse objects. Our method consistently achieves state-of-the-art results: (I) a 96.5% average success rate across all objects and tasks, (II) high manipulation accuracy with an average reorientation error of 11{\deg} and position error of 7.8mm, and (III) contact-implicit model predictive control running at 50-100 Hz for all objects and tasks. These results are achieved with minimal hyperparameter tuning.

arxiv情報

著者 Wanxin Jin
発行日 2025-04-22 05:46:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Complementarity-Free Multi-Contact Modeling and Optimization for Dexterous Manipulation はコメントを受け付けていません

ApexNav: An Adaptive Exploration Strategy for Zero-Shot Object Navigation with Target-centric Semantic Fusion

投稿日: 2025年4月23日 作成者: jarxiv

要約

未知の環境をナビゲートしてターゲットオブジェクトを見つけることは重要な課題です。
セマンティック情報はナビゲーションにとって重要ですが、特にセマンティックキューが弱い環境では、意思決定のためだけにそれに依存するだけではない場合があります。
さらに、多くの方法は、特に視覚的に類似したオブジェクトを持つ環境で、誤解の影響を受けやすくなります。
これらの制限に対処するために、より効率的で信頼性の高いゼロショットオブジェクトナビゲーションフレームワークであるApexNavを提案します。
効率のために、ApexNavは、環境での分布を分析し、キューが強いときの意味的推論を通じて探索を導き、弱いときに幾何学ベースの探索に切り替えることにより、セマンティック情報を適応的に利用します。
信頼性のために、ターゲットオブジェクトと同様のオブジェクトの長期的なメモリを保存し、誤検出を減らし、タスクの障害を最小化するターゲット中心のセマンティック融合法を提案します。
HM3DV1、HM3DV2、およびMP3DデータセットでApexNavを評価し、SRメトリックとSPLメトリックの両方で最先端の方法を上回ります。
包括的なアブレーション研究は、各モジュールの有効性をさらに示しています。
さらに、実際の実験は、物理的環境におけるApexNavの実用性を検証します。
プロジェクトページはhttps://robotics-star.com/apexnavで入手できます。

要約(オリジナル)

Navigating unknown environments to find a target object is a significant challenge. While semantic information is crucial for navigation, relying solely on it for decision-making may not always be efficient, especially in environments with weak semantic cues. Additionally, many methods are susceptible to misdetections, especially in environments with visually similar objects. To address these limitations, we propose ApexNav, a zero-shot object navigation framework that is both more efficient and reliable. For efficiency, ApexNav adaptively utilizes semantic information by analyzing its distribution in the environment, guiding exploration through semantic reasoning when cues are strong, and switching to geometry-based exploration when they are weak. For reliability, we propose a target-centric semantic fusion method that preserves long-term memory of the target object and similar objects, reducing false detections and minimizing task failures. We evaluate ApexNav on the HM3Dv1, HM3Dv2, and MP3D datasets, where it outperforms state-of-the-art methods in both SR and SPL metrics. Comprehensive ablation studies further demonstrate the effectiveness of each module. Furthermore, real-world experiments validate the practicality of ApexNav in physical environments. Project page is available at https://robotics-star.com/ApexNav.

arxiv情報

著者 Mingjie Zhang,Yuheng Du,Chengkai Wu,Jinni Zhou,Zhenchao Qi,Jun Ma,Boyu Zhou
発行日 2025-04-22 05:49:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | ApexNav: An Adaptive Exploration Strategy for Zero-Shot Object Navigation with Target-centric Semantic Fusion はコメントを受け付けていません

An ACO-MPC Framework for Energy-Efficient and Collision-Free Path Planning in Autonomous Maritime Navigation

投稿日: 2025年4月23日 作成者: jarxiv

要約

ランプでの自動運転は、車線の変化中の安全性と効率の両方のバランスをとる必要があるため、大きな課題を提示します。
このペーパーでは、ランプ上の自動化された車両（AVS）の統合プランナーを提案します。これは、効率のための不十分なレベルメトリックと、安全のための矢印クラスターベースのサンプリングを利用しています。
プランナーは、車両の速度を効率の重要な要因として考慮して、AVがレーンを変更する最適な時間を特定します。
さらに、統合されたプランナーは矢印クラスターベースのサンプリングを採用して、衝突リスクを評価し、最適な車線変更曲線を選択します。
プランナーの効率的で安全なパフォーマンスを検証するために、ランプシナリオで広範なシミュレーションが実施されました。
結果は、提案されたプランナーが、操作中に衝突を発生させることなく、AVSの適切な車線を変えるタイムポイントと安全な車線変更曲線を効果的に選択できることを示しています。

要約(オリジナル)

Automated driving on ramps presents significant challenges due to the need to balance both safety and efficiency during lane changes. This paper proposes an integrated planner for automated vehicles (AVs) on ramps, utilizing an unsatisfactory level metric for efficiency and arrow-cluster-based sampling for safety. The planner identifies optimal times for the AV to change lanes, taking into account the vehicle’s velocity as a key factor in efficiency. Additionally, the integrated planner employs arrow-cluster-based sampling to evaluate collision risks and select an optimal lane-changing curve. Extensive simulations were conducted in a ramp scenario to verify the planner’s efficient and safe performance. The results demonstrate that the proposed planner can effectively select an appropriate lane-changing time point and a safe lane-changing curve for AVs, without incurring any collisions during the maneuver.

arxiv情報

著者 Yaoze Liu,Zhen Tian,Qifan Zhou,Zixuan Huang,Hongyu Sun
発行日 2025-04-22 06:09:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | An ACO-MPC Framework for Energy-Efficient and Collision-Free Path Planning in Autonomous Maritime Navigation はコメントを受け付けていません

CREVE: An Acceleration-based Constraint Approach for Robust Radar Ego-Velocity Estimation

投稿日: 2025年4月23日 作成者: jarxiv

要約

ミリメートル波周波数変調連続波（MMWave FMCW）レーダーの点雲測定からのエゴ速度推定は、レーダー介入臭ト体（RIO）システムの重要な成分になりました。
従来のアプローチは、ポイントクラウドの外れ値の数が入口の数を超えると、パフォーマンスが低下することがよくあり、特にデッドレコーのレーダーエゴ速度に依存するリオシステムでは、ナビゲーションパフォーマンスの低下につながる可能性があります。
この論文では、慣性測定ユニット（IMU）から追加の測定値を活用して堅牢なエゴ速度の推定を実現する加速ベースの不平等制約フィルターであるCreveを提案します。
センサーエラーに対する精度と堅牢性をさらに高めるために、実用的な加速度計バイアス推定方法と、レーダーポイントクラウドインラに基づいて制約を動的に調整するパラメーター適応ルールを導入します。
2つのオープンソースIRSおよびコロラダーデータセットの実験結果は、提案された方法が3つの最先端のアプローチを大幅に上回り、それぞれ約36 \％、78 \％、および12 \％減少することを示しています。

要約(オリジナル)

Ego-velocity estimation from point cloud measurements of a millimeter-wave frequency-modulated continuous wave (mmWave FMCW) radar has become a crucial component of radar-inertial odometry (RIO) systems. Conventional approaches often exhibit poor performance when the number of outliers in the point cloud exceeds that of inliers, which can lead to degraded navigation performance, especially in RIO systems that rely on radar ego-velocity for dead reckoning. In this paper, we propose CREVE, an acceleration-based inequality constraints filter that leverages additional measurements from an inertial measurement unit (IMU) to achieve robust ego-velocity estimations. To further enhance accuracy and robustness against sensor errors, we introduce a practical accelerometer bias estimation method and a parameter adaptation rule that dynamically adjusts constraints based on radar point cloud inliers. Experimental results on two open-source IRS and ColoRadar datasets demonstrate that the proposed method significantly outperforms three state-of-the-art approaches, reducing absolute trajectory error by approximately 36\%, 78\%, and 12\%, respectively.

arxiv情報

著者 Hoang Viet Do,Bo Sung Ko,Yong Hun Kim,Jin Woo Song
発行日 2025-04-22 06:14:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, I.2.9 | CREVE: An Acceleration-based Constraint Approach for Robust Radar Ego-Velocity Estimation はコメントを受け付けていません

Variable Stiffness for Robust Locomotion through Reinforcement Learning

投稿日: 2025年4月23日 作成者: jarxiv

要約

補強能力のある移動により、脚のあるロボットは非常に動的な動きを実行できますが、多くの場合、関節の剛性の時間のかかる手動チューニングを伴うことがよくあります。
このホワイトペーパーでは、関節位置とともに可変剛性をアクション空間に統合する新しいコントロールパラダイムを紹介し、一方的な剛性（PJS）、レッグごとの剛性（PLS）、ハイブリッド関節剛性（HJLS）などのグループ化された剛性制御を可能にします。
ルグごとの剛性（PLS）のグループ化を伴う可変剛性ポリシーが、速度追跡とプッシュリカバリの位置ベースのコントロールを上回ることを示します。
対照的に、HJLSはエネルギー効率に優れています。
私たちのポリシーはフラットフロアでのみ訓練されているという事実にもかかわらず、私たちの方法は、多様な屋外地形での堅牢な歩行行動を示しており、堅牢なSIMからリアルへの転送を示しています。
私たちのアプローチは、さまざまなメトリックで競争結果を維持しながら、ジョイントごとの剛性の調整を排除することにより、設計を簡素化します。

要約(オリジナル)

Reinforcement-learned locomotion enables legged robots to perform highly dynamic motions but often accompanies time-consuming manual tuning of joint stiffness. This paper introduces a novel control paradigm that integrates variable stiffness into the action space alongside joint positions, enabling grouped stiffness control such as per-joint stiffness (PJS), per-leg stiffness (PLS) and hybrid joint-leg stiffness (HJLS). We show that variable stiffness policies, with grouping in per-leg stiffness (PLS), outperform position-based control in velocity tracking and push recovery. In contrast, HJLS excels in energy efficiency. Despite the fact that our policy is trained on flat floor only, our method showcases robust walking behaviour on diverse outdoor terrains, indicating robust sim-to-real transfer. Our approach simplifies design by eliminating per-joint stiffness tuning while keeping competitive results with various metrics.

arxiv情報

著者 Dario Spoljaric,Yashuai Yan,Dongheui Lee
発行日 2025-04-22 06:55:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Variable Stiffness for Robust Locomotion through Reinforcement Learning はコメントを受け付けていません

Multimodal Perception for Goal-oriented Navigation: A Survey

投稿日: 2025年4月23日 作成者: jarxiv

要約

目標指向のナビゲーションは、自律システムにとって基本的な課題であり、エージェントが指定されたターゲットに到達するために複雑な環境をナビゲートすることを要求します。
この調査では、推論ドメインの統一された視点を介したマルチモーダルナビゲーションアプローチの包括的な分析を提供し、視覚的、言語的、音響情報を使用して環境を知覚、推論、ナビゲートする方法を調査します。
私たちの重要な貢献には、推論ドメイン全体の主要な環境推論メカニズムに基づいたナビゲーション方法の整理が含まれます。
共有された計算基盤が、さまざまなナビゲーションタスクで一見異なるアプローチをサポートする方法を体系的に分析します。
さまざまなナビゲーションパラダイムにわたる繰り返しのパターンと特徴的な強度の識別。
マルチモーダル認識の統合の課題と機会を調べて、ナビゲーション機能を強化します。
さらに、約200の関連記事を確認して、現在の景観を詳細に理解します。

要約(オリジナル)

Goal-oriented navigation presents a fundamental challenge for autonomous systems, requiring agents to navigate complex environments to reach designated targets. This survey offers a comprehensive analysis of multimodal navigation approaches through the unifying perspective of inference domains, exploring how agents perceive, reason about, and navigate environments using visual, linguistic, and acoustic information. Our key contributions include organizing navigation methods based on their primary environmental reasoning mechanisms across inference domains; systematically analyzing how shared computational foundations support seemingly disparate approaches across different navigation tasks; identifying recurring patterns and distinctive strengths across various navigation paradigms; and examining the integration challenges and opportunities of multimodal perception to enhance navigation capabilities. In addition, we review approximately 200 relevant articles to provide an in-depth understanding of the current landscape.

arxiv情報

著者 I-Tak Ieong,Hao Tang
発行日 2025-04-22 07:01:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Multimodal Perception for Goal-oriented Navigation: A Survey はコメントを受け付けていません

A Vision-Enabled Prosthetic Hand for Children with Upper Limb Disabilities

投稿日: 2025年4月23日 作成者: jarxiv

要約

このペーパーでは、10〜12歳の子供を上肢障害のある子供たちを支援するように設計された新しいAI視覚対応の小児補綴手を紹介します。
プロテーゼは、擬人化された外観、多関節機能、および自然な手を模倣した軽量のデザインを特徴としており、低所得の家族にとってアクセスしやすく手頃な価格の両方になります。
3D印刷技術を使用し、高度なマシンビジョン、センシング、埋め込みコンピューティングを統合すると、補綴ハンドは、現在の筋電装置の制限に対処する低コストのカスタマイズ可能なソリューションを提供します。
マイクロカメラには、リアルタイムオブジェクト検出用の低電力FPGAがインターフェースされ、正確な把握を支援します。
オンボードDLベースのオブジェクトの検出および把握分類モデルは、それぞれ96％と100％の精度を達成しました。
力の予測では、平均絶対誤差は0.018であることがわかりました。
したがって、提案された補綴手の特徴は、次のように要約できます。a）人工センシング用の手首に取り付けられたマイクロカメラで、幅広い手ベースのタスクを可能にします。
b）正確な把握のためのリアルタイムオブジェクトの検出と距離推定。
c）制約された電力とリソースの制限内で高性能を提供する超低電力操作。

要約(オリジナル)

This paper introduces a novel AI vision-enabled pediatric prosthetic hand designed to assist children aged 10-12 with upper limb disabilities. The prosthesis features an anthropomorphic appearance, multi-articulating functionality, and a lightweight design that mimics a natural hand, making it both accessible and affordable for low-income families. Using 3D printing technology and integrating advanced machine vision, sensing, and embedded computing, the prosthetic hand offers a low-cost, customizable solution that addresses the limitations of current myoelectric prostheses. A micro camera is interfaced with a low-power FPGA for real-time object detection and assists with precise grasping. The onboard DL-based object detection and grasp classification models achieved accuracies of 96% and 100% respectively. In the force prediction, the mean absolute error was found to be 0.018. The features of the proposed prosthetic hand can thus be summarized as: a) a wrist-mounted micro camera for artificial sensing, enabling a wide range of hand-based tasks; b) real-time object detection and distance estimation for precise grasping; and c) ultra-low-power operation that delivers high performance within constrained power and resource limits.

arxiv情報

著者 Md Abdul Baset Sarker,Art Nguyen,Sigmond Kukla,Kevin Fite,Masudul H. Imtiaz
発行日 2025-04-22 07:23:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG, cs.RO | A Vision-Enabled Prosthetic Hand for Children with Upper Limb Disabilities はコメントを受け付けていません