Robot at the Mirror: Learning to Imitate via Associating Self-supervised Models

要約

トレーニングや微調整ではなく、関連付けを介して既製の自己教師ありモデルからカスタム モデルを構築するアプローチを紹介します。
人型ロボットが鏡を見て、認識した画像から自分の体の 3D 姿勢を検出する方法を学習する例を使ってそれを示します。
モデルを構築するには、まずロボットの動作前に用意されたモデルを介して、視覚入力とロボットの体の姿勢から特徴を取得します。
次に、サンプル効率の高いロボットの鏡での自己探索によって、対応する潜在空間をマッピングします。
このようにして、ロボットは、要求された 3D 姿勢検出器を構築します。その品質は、徐々に品質を取得するのではなく、取得したサンプル上ですぐに完璧になります。
特徴ベクトルのペアの関連付けを使用するマッピングは、有名なトランスフォーマー モデルのキーと値のメカニズムと同じ方法で実装されます。
最後に、模倣用のモデルをシミュレートされたロボットに展開することで、人間の関与なしにそのハイパーパラメータを研究、調整、体系的に評価できるようになり、これまでの研究が前進しました。

要約(オリジナル)

We introduce an approach to building a custom model from ready-made self-supervised models via their associating instead of training and fine-tuning. We demonstrate it with an example of a humanoid robot looking at the mirror and learning to detect the 3D pose of its own body from the image it perceives. To build our model, we first obtain features from the visual input and the postures of the robot’s body via models prepared before the robot’s operation. Then, we map their corresponding latent spaces by a sample-efficient robot’s self-exploration at the mirror. In this way, the robot builds the solicited 3D pose detector, which quality is immediately perfect on the acquired samples instead of obtaining the quality gradually. The mapping, which employs associating the pairs of feature vectors, is then implemented in the same way as the key-value mechanism of the famous transformer models. Finally, deploying our model for imitation to a simulated robot allows us to study, tune up, and systematically evaluate its hyperparameters without the involvement of the human counterpart, advancing our previous research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google