HRP: Human Affordances for Robotic Pre-Training

要約

現実のさまざまなタスクに「一般化」するために、ロボット エージェントには、高次元のビジョン入力が与えられた場合にロボットが最適な動作を予測できるようにする適切な表現 (つまり、ビジョン ネットワーク) が必要になります。
ただし、そのような表現を学習するには、膨大な量の多様なトレーニング データが必要であり、実際のロボットで収集するには法外に費用がかかります。
どうすればこの問題を克服できるでしょうか?
この論文では、より多くのロボット データを収集する代わりに、インターネット スケールの人間のビデオを使用して、環境レベルとエージェント レベルの両方で「アフォーダンス」を抽出し、事前にトレーニングされた表現に抽出することを提案しています。
画像内の関連するオブジェクトとそれらとの対話方法を強調表示する、手、オブジェクト、および連絡先の表現「アフォーダンス ラベル」を事前トレーニングするためのシンプルなフレームワークを紹介します。
これらのアフォーダンスは、(既製のコンピューター ビジョン モジュールを利用して) 人間のビデオ データから自動的に抽出され、既存の表現を微調整するために使用されます。
私たちのアプローチは、既存の *あらゆる* 表現を効率的に微調整することができ、その結果、全体的により強力な下流のロボット パフォーマンスを備えたモデルが得られます。
私たちは、このアフォーダンス事前トレーニング スキームにより、3 つの多様なロボットの形態 (器用な手を含む) を考慮した 5 つの現実世界のタスクでパフォーマンスが少なくとも 15% 向上することを実験的に実証しています (3,000 回以上のロボット トライアルを使用)。
この空間での以前の作品とは異なり、これらの表現により、3 つの異なるカメラ ビューにわたるパフォーマンスが向上します。
定量的には、私たちのアプローチは、流通外の環境においてより高いレベルの一般化につながることがわかりました。
コード、重み、データについては、https://hrp-robot.github.io を確認してください。

要約(オリジナル)

In order to *generalize* to various tasks in the wild, robotic agents will need a suitable representation (i.e., vision network) that enables the robot to predict optimal actions given high dimensional vision inputs. However, learning such a representation requires an extreme amount of diverse training data, which is prohibitively expensive to collect on a real robot. How can we overcome this problem? Instead of collecting more robot data, this paper proposes using internet-scale, human videos to extract ‘affordances,’ both at the environment and agent level, and distill them into a pre-trained representation. We present a simple framework for pre-training representations on hand, object, and contact ‘affordance labels’ that highlight relevant objects in images and how to interact with them. These affordances are automatically extracted from human video data (with the help of off-the-shelf computer vision modules) and used to fine-tune existing representations. Our approach can efficiently fine-tune *any* existing representation, and results in models with stronger downstream robotic performance across the board. We experimentally demonstrate (using 3000+ robot trials) that this affordance pre-training scheme boosts performance by a minimum of 15% on 5 real-world tasks, which consider three diverse robot morphologies (including a dexterous hand). Unlike prior works in the space, these representations improve performance across 3 different camera views. Quantitatively, we find that our approach leads to higher levels of generalization in out-of-distribution settings. For code, weights, and data check: https://hrp-robot.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google