RT-Sketch: Goal-Conditioned Imitation Learning from Hand-Drawn Sketches

要約

自然言語と画像は、目標条件付き模倣学習 (IL) の目標表現として一般的に使用されます。
ただし、自然言語は曖昧になる可能性があり、画像は過剰に指定される可能性があります。
この研究では、視覚模倣学習における目標指定のモダリティとして手描きのスケッチを提案します。
スケッチは、ユーザーが言語のようなオンザフライで提供するのが簡単ですが、画像と同様に、下流のポリシーが空間を認識するのにも役立ち、画像を超えて、タスクに関連するオブジェクトとタスクに無関係なオブジェクトを区別することもできます。
目的のシーンの手描きスケッチを入力として受け取り、アクションを出力する、操作のための目標条件付きポリシーである RT-Sketch を紹介します。
ペアの軌道と、対応する合成的に生成されたゴール スケッチのデータセットで RT-Sketch をトレーニングします。
このアプローチを、関節式カウンタートップ上でのテーブル上のオブジェクトの再配置を含む 6 つの操作スキルで評価します。
実験の結果、RT-Sketch は、言語目標があいまいな場合や視覚的な気が散る要因がある場合には、より優れた堅牢性を達成しながら、簡単な設定では画像または言語で条件付けされたエージェントと同様のレベルで実行できることがわかりました。
さらに、RT-Sketch には、最小限の線画から詳細な色付きの図面に至るまで、さまざまなレベルの特異性を持つスケッチを解釈し、それに基づいて動作する能力があることを示します。
補足資料とビデオについては、当社の Web サイト http://rt-sketch.github.io を参照してください。

要約(オリジナル)

Natural language and images are commonly used as goal representations in goal-conditioned imitation learning (IL). However, natural language can be ambiguous and images can be over-specified. In this work, we propose hand-drawn sketches as a modality for goal specification in visual imitation learning. Sketches are easy for users to provide on the fly like language, but similar to images they can also help a downstream policy to be spatially-aware and even go beyond images to disambiguate task-relevant from task-irrelevant objects. We present RT-Sketch, a goal-conditioned policy for manipulation that takes a hand-drawn sketch of the desired scene as input, and outputs actions. We train RT-Sketch on a dataset of paired trajectories and corresponding synthetically generated goal sketches. We evaluate this approach on six manipulation skills involving tabletop object rearrangements on an articulated countertop. Experimentally we find that RT-Sketch is able to perform on a similar level to image or language-conditioned agents in straightforward settings, while achieving greater robustness when language goals are ambiguous or visual distractors are present. Additionally, we show that RT-Sketch has the capacity to interpret and act upon sketches with varied levels of specificity, ranging from minimal line drawings to detailed, colored drawings. For supplementary material and videos, please refer to our website: http://rt-sketch.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google