Push to know! — Visuo-Tactile based Active Object Parameter Inference with Dual Differentiable Filtering

要約

ロボット システムが動的環境でオブジェクトと対話するには、形状、摩擦係数、質量、質量中心、慣性などのオブジェクトの物理的特性を認識することが不可欠です。
これにより、操作アクションの選択が容易になるだけでなく、タスクが希望どおりに実行されるようになります。
ただし、特に新しい物体の物理的特性を視覚または触覚センシングを使用して推定することは、困難な問題です。
この研究では、視覚と触覚センシングを使用した非把握的操作を使用して主要なオブジェクトパラメータを推定するための新しいフレームワークを提案します。
私たちのフレームワークの一部として提案したアクティブ双対微分可能フィルタリング (ADDF) アプローチは、非捕捉オブジェクトのプッシュ中にオブジェクトとロボットの相互作用を学習して、オブジェクトのパラメーターを推測します。
私たちが提案した方法により、ロボットシステムは視覚と触覚情報を利用して、掴みにくい物体を押すことで新しい物体をインタラクティブに探索できるようになります。
微分可能フィルタリング内で新しく提案された N ステップのアクティブ定式化により、次に最適な探索的なプッシュ アクション (どこを押すか、どのように押すか) を選択することで、オブジェクトとロボットの相互作用モデルの効率的な学習と推論中の学習が促進されます。
私たちはシミュレーションと実際のロボットのシナリオでフレームワークを広範囲に評価し、最先端のベースラインよりも優れたパフォーマンスを実現しました。

要約(オリジナル)

For robotic systems to interact with objects in dynamic environments, it is essential to perceive the physical properties of the objects such as shape, friction coefficient, mass, center of mass, and inertia. This not only eases selecting manipulation action but also ensures the task is performed as desired. However, estimating the physical properties of especially novel objects is a challenging problem, using either vision or tactile sensing. In this work, we propose a novel framework to estimate key object parameters using non-prehensile manipulation using vision and tactile sensing. Our proposed active dual differentiable filtering (ADDF) approach as part of our framework learns the object-robot interaction during non-prehensile object push to infer the object’s parameters. Our proposed method enables the robotic system to employ vision and tactile information to interactively explore a novel object via non-prehensile object push. The novel proposed N-step active formulation within the differentiable filtering facilitates efficient learning of the object-robot interaction model and during inference by selecting the next best exploratory push actions (where to push? and how to push?). We extensively evaluated our framework in simulation and real-robotic scenarios, yielding superior performance to the state-of-the-art baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google