Embodied Perception for Test-time Grasping Detection Adaptation with Knowledge Infusion

要約

ロボットを未知のシナリオに簡単に展開し、人間の介入なしでロボットグラッシングタスクを達成できることが常に期待されてきました。
それにもかかわらず、既存の把握検出アプローチは通常、体外技術であり、広範な注釈付きデータサポートを備えたさまざまな深いニューラルネットワークをトレーニングすることで実現されます。
{このホワイトペーパーでは、ロボットの探索機能を活用する把握検出のための具体化されたテスト時間適応フレームワークを提案します。}このフレームワークは、予期せぬ環境でのロボットの把握スキルの一般化パフォーマンスを改善することを目的としています。
具体的には、把握検出の品質を評価し、適切なサンプルを維持するために、ロボットの操作能力に基づいて具体化された評価基準を導入します。
このプロセスにより、ロボットは環境を積極的に探求し、把握スキルを継続的に学習し、人間の介入を排除することができます。
また、ロボット探査の効率を向上させるために、柔軟な知識ベースを構築して、初期の最適な視点のコンテキストを提供します。
維持されたサンプルに条件付けられたグラス検出ネットワークは、テスト時間シーンに適合させることができます。
ロボットが新しいオブジェクトに立ち向かうと、継続的な学習を実現するために、上記の同じ適応手順を受けます。
実際のロボットで実施された広範な実験は、提案されたフレームワークの有効性と一般化を実証しています。

要約(オリジナル)

It has always been expected that a robot can be easily deployed to unknown scenarios, accomplishing robotic grasping tasks without human intervention. Nevertheless, existing grasp detection approaches are typically off-body techniques and are realized by training various deep neural networks with extensive annotated data support. {In this paper, we propose an embodied test-time adaptation framework for grasp detection that exploits the robot’s exploratory capabilities.} The framework aims to improve the generalization performance of grasping skills for robots in an unforeseen environment. Specifically, we introduce embodied assessment criteria based on the robot’s manipulation capability to evaluate the quality of the grasp detection and maintain suitable samples. This process empowers the robots to actively explore the environment and continuously learn grasping skills, eliminating human intervention. Besides, to improve the efficiency of robot exploration, we construct a flexible knowledge base to provide context of initial optimal viewpoints. Conditioned on the maintained samples, the grasp detection networks can be adapted in the test-time scene. When the robot confronts new objects, it will undergo the same adaptation procedure mentioned above to realize continuous learning. Extensive experiments conducted on a real-world robot demonstrate the effectiveness and generalization of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google