Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover

要約

透明なオブジェクトは日常生活でよく使われますが、その独特の光学特性は、正確な深度情報をキャプチャするのに苦労する RGB-D カメラにとって課題となります。
アシスタントロボットにとって、人間とロボットの効果的なインタラクションには、人間が保持する透明な物体を正確に認識することが不可欠です。
この論文では、単一の RGB-D イメージから暗黙的なニューラル表現関数を作成することに基づいた、手持ちの透明オブジェクト用の Hand-Aware Depth Restoration (HADR) 方法を紹介します。
提案された方法では、意味情報と幾何学的情報を活用するための重要な指針として手の姿勢が導入されています。
提案された方法をトレーニングして評価するために、Real-to-SIM データ生成スキームを使用して TransHand-14K と呼ばれる高忠実度の合成データセットを作成します。
実験により、私たちの方法は既存の方法と比較して優れたパフォーマンスと一般化能力を備えていることがわかりました。
さらに、提案された深度復元方法に基づいて現実世界の人間からロボットへのハンドオーバー システムを開発し、人間とロボットのインタラクションにおけるその応用価値を実証します。

要約(オリジナル)

Transparent objects are common in daily life, while their unique optical properties pose challenges for RGB-D cameras, which struggle to capture accurate depth information. For assistant robots, accurately perceiving transparent objects held by humans is essential for effective human-robot interaction. This paper presents a Hand-Aware Depth Restoration (HADR) method for hand-held transparent objects based on creating an implicit neural representation function from a single RGB-D image. The proposed method introduces the hand posture as an important guidance to leverage semantic and geometric information. To train and evaluate the proposed method, we create a high-fidelity synthetic dataset called TransHand-14K with a real-to-sim data generation scheme. Experiments show that our method has a better performance and generalization ability compared with existing methods. We further develop a real-world human-to-robot handover system based on the proposed depth restoration method, demonstrating its application value in human-robot interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google