Mobile Robot Manipulation using Pure Object Detection

要約

本稿では、物体検出を使用した移動ロボット操作の問題に対処します。
私たちのアプローチは、現実世界の相互作用から学習する補完的な機能として、検出と制御を使用します。
検出のみに基づくエンドツーエンドの操作方法を開発し、新しいオブジェクトと設定を学習するためにタスクに焦点を当てた少数ショット オブジェクト検出 (TFOD) を導入します。
私たちのロボットは、独自のトレーニング データを収集し、検出を再トレーニングするタイミングを自動的に決定して、さまざまなサブタスク (つかむなど) のパフォーマンスを向上させます。
特に、検出トレーニングは低コストであり、ロボットはわずか 4 回の注釈クリックで新しいオブジェクトを操作することを学習します。
物理実験では、私たちのロボットは、注釈の 1 回のクリックと新しい更新定式化から視覚制御を学習し、クラッターやその他のモバイル設定で新しいオブジェクトを操作し、既存の視覚サーボ制御と深度推定で最先端の結果を達成します。
基準。
最後に、ロボット工学の将来の物体検出研究をサポートするために、TFOD ベンチマークを開発します: https://github.com/griffbr/tfod.

要約(オリジナル)

This paper addresses the problem of mobile robot manipulation using object detection. Our approach uses detection and control as complimentary functions that learn from real-world interactions. We develop an end-to-end manipulation method based solely on detection and introduce Task-focused Few-shot Object Detection (TFOD) to learn new objects and settings. Our robot collects its own training data and automatically determines when to retrain detection to improve performance across various subtasks (e.g., grasping). Notably, detection training is low-cost, and our robot learns to manipulate new objects using as few as four clicks of annotation. In physical experiments, our robot learns visual control from a single click of annotation and a novel update formulation, manipulates new objects in clutter and other mobile settings, and achieves state-of-the-art results on an existing visual servo control and depth estimation benchmark. Finally, we develop a TFOD Benchmark to support future object detection research for robotics: https://github.com/griffbr/tfod.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google