Multimodal Visual-haptic pose estimation in the presence of transient occlusion

要約

人間とロボットの協働には、参加するオペレーターの安全を保証する方法の確立が必要です。
このプロセスに必要な部分は、信頼性の高い人間の姿勢推定を保証することです。
確立された視覚ベースのモダリティは、閉塞状態下では問題に遭遇します。
この記事では、このような一時的なオクルージョンを含む環境における姿勢推定のための 2 つの知覚モダリティの組み合わせについて説明します。
まず、部分オクルージョンに対する堅牢性を特徴とするディープ予測コーディング (PC) モデルに基づく、視覚ベースの姿勢推定方法を紹介します。
次に、さまざまな物体を検出できる静電容量センシング ハードウェアを紹介します。
このセンサーは、任意のロボット システムの外部に取り付けるのに十分なほどコンパクトです。
この技術は、生体組織などの容量性物質の検出に特に適しています。
2 つの個別のセンシング モダリティからの姿勢推定は、修正された Luenberger 観測者モデルを使用して結合されます。
この結果は、いずれかのセンサー単独よりも優れたパフォーマンスを提供することを示しています。
このシステムの有効性はロボット アームと人間が含まれる環境で実証され、さまざまなレベルの閉塞下で人間の前腕の姿勢を推定できることが示されています。

要約(オリジナル)

Human-robot collaboration requires the establishment of methods to guarantee the safety of participating operators. A necessary part of this process is ensuring reliable human pose estimation. Established vision-based modalities encounter problems when under conditions of occlusion. This article describes the combination of two perception modalities for pose estimation in environments containing such transient occlusion. We first introduce a vision-based pose estimation method, based on a deep Predictive Coding (PC) model featuring robustness to partial occlusion. Next, capacitive sensing hardware capable of detecting various objects is introduced. The sensor is compact enough to be mounted on the exterior of any given robotic system. The technology is particularly well-suited to detection of capacitive material, such as living tissue. Pose estimation from the two individual sensing modalities is combined using a modified Luenberger observer model. We demonstrate that the results offer better performance than either sensor alone. The efficacy of the system is demonstrated on an environment containing a robot arm and a human, showing the ability to estimate the pose of a human forearm under varying levels of occlusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google