Bridging Low-level Geometry to High-level Concepts in Visual Servoing of Robot Manipulation Task Using Event Knowledge Graphs and Vision-Language Models

要約

この論文では、イベントナレッジグラフ（EKG）と大規模な事前訓練されたデータを共同使用することにより、基本的な未校正のビジュアルサーボコントローラにコンテキスト知識を与えることにより、スマートな人間とロボットの相互作用の範囲で知識のあるロボット制御を構築するフレームワークを提案します。
ビジョン言語モデル (VLM)。
このフレームワークは 2 つに拡張されます。まず、低レベルの画像ジオメトリを高レベルの概念として解釈し、VLM にプロンプ​​トを出し、モーター制御スキルのために点と線の幾何学的特徴を選択できるようにします。
次に、関心のあるロボット操作タスクを概念化するためにイベント ナレッジ グラフ (EKG) を作成します。ここで、EKG の本体は実行可能な動作ツリーによって特徴付けられ、葉は操作コンテキストに関連するセマンティック概念によって特徴付けられます。
我々は、実際のロボットの試行を伴う未調整の環境において、我々の方法がタスクインターフェース中の人間による注釈への依存度を下げ、低レベルの幾何学的ベースの運動制御スキルを高度な技術として扱うことで、ロボットが日常生活の活動をより容易に実行できることを実証しました。
レベルの概念を理解しており、スマート ロボット アプリケーションの認知的思考を構築するのに有益です。

要約(オリジナル)

In this paper, we propose a framework of building knowledgeable robot control in the scope of smart human-robot interaction, by empowering a basic uncalibrated visual servoing controller with contextual knowledge through the joint usage of event knowledge graphs (EKGs) and large-scale pretrained vision-language models (VLMs). The framework is expanded in twofold: first, we interpret low-level image geometry as high-level concepts, allowing us to prompt VLMs and to select geometric features of points and lines for motor control skills; then, we create an event knowledge graph (EKG) to conceptualize a robot manipulation task of interest, where the main body of the EKG is characterized by an executable behavior tree, and the leaves by semantic concepts relevant to the manipulation context. We demonstrate, in an uncalibrated environment with real robot trials, that our method lowers the reliance of human annotation during task interfacing, allows the robot to perform activities of daily living more easily by treating low-level geometric-based motor control skills as high-level concepts, and is beneficial in building cognitive thinking for smart robot applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google