Online Estimation of Articulated Objects with Factor Graphs using Vision and Proprioceptive Sensing

要約

食器洗い機からキャビネットに至るまで、人間は毎日関節のある物体と対話します。ロボットが一般的な操作タスクを支援するには、関節の表現を学習する必要があります。
最近の深層学習学習方法は、以前の、場合によってはシミュレートされた経験から、関節化されたオブジェクトのアフォーダンスに関する強力なビジョンベースの事前情報を提供できます。
対照的に、多くの研究では、動いているオブジェクトを観察することによって関節を推定しており、ロボットがすでにオブジェクトと対話していることが必要です。
この研究では、ニューラル ネットワークからのビジョンベースのアフォーダンス予測と分析モデルのインタラクティブな運動学センシングを統合するオンライン推定方法を導入することで、両方の長所を活用することを提案します。
私たちの研究には、オブジェクトに触れる前に視覚を使用して関節モデルを予測できるという利点があり、また、インタラクション中の運動学的センシングからモデルを迅速に更新することもできます。
この論文では、関節のある物体、特に視覚だけでは関節が明らかではない物体をロボットで開くための共有自律性を使用した完全なシステムを実装します。
私たちは実際のロボットにシステムを実装し、オンラインで関節を推定しなが​​らロボットが未知の関節でドアを開ける必要がある自律閉ループ実験をいくつか実行しました。
私たちのシステムは、未知の多関節物体を自律的に開く成功率 80% を達成しました。

要約(オリジナル)

From dishwashers to cabinets, humans interact with articulated objects every day, and for a robot to assist in common manipulation tasks, it must learn a representation of articulation. Recent deep learning learning methods can provide powerful vision-based priors on the affordance of articulated objects from previous, possibly simulated, experiences. In contrast, many works estimate articulation by observing the object in motion, requiring the robot to already be interacting with the object. In this work, we propose to use the best of both worlds by introducing an online estimation method that merges vision-based affordance predictions from a neural network with interactive kinematic sensing in an analytical model. Our work has the benefit of using vision to predict an articulation model before touching the object, while also being able to update the model quickly from kinematic sensing during the interaction. In this paper, we implement a full system using shared autonomy for robotic opening of articulated objects, in particular objects in which the articulation is not apparent from vision alone. We implemented our system on a real robot and performed several autonomous closed-loop experiments in which the robot had to open a door with unknown joint while estimating the articulation online. Our system achieved an 80% success rate for autonomous opening of unknown articulated objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google