Learning on the Job: Self-Rewarding Offline-to-Online Finetuning for Industrial Insertion of Novel Connectors from Vision

要約

ロボット工学における学習ベースの方法は、一般化の可能性を秘めていますが、学習したポリシーが新しい状況に一般化されない場合はどうすればよいでしょうか?
原則として、エージェントが少なくとも自身の成功を評価できる場合 (つまり、ポリシーが一般化しない場合でも一般化する報酬分類子を使用する場合)、エージェントはタスクを積極的に実践し、この状況でポリシーを微調整できます。
ソケットへのコネクタの挿入やネジの設定など、産業用挿入タスクの設定でこの問題を研究します。
既存のアルゴリズムは、コネクタまたはソケットの正確なローカリゼーションと、組み立てラインなどの慎重に管理された物理セットアップに依存して、タスクを成功させます。
しかし、家庭や一部の産業環境などの構造化されていない環境では、ロボットは正確な位置特定に頼ることができず、以前には見られなかったコネクタを任される可能性があります。
さまざまなコネクタ挿入タスクでのオフライン強化学習は潜在的な解決策ですが、ロボットが以前に見えなかったコネクタを挿入するタスクを課された場合はどうなるでしょうか?
そのようなシナリオでは、オンラインの練習でそのようなタスクをロバストに解決できるメソッドが引き続き必要になります。
この作業で私たちが行った主な観察の 1 つは、適切な表現学習とドメインの一般化アプローチを使用すると、報酬関数を新しいが構造的に類似したタスク (たとえば、新しいタイプのコネクタの挿入) に一般化することが非常に簡単になる可能性があることです
) ポリシーよりも。
これは、学習した報酬関数を使用して、ポリシーがゼロ ショットで一般化できない状況でロボットのポリシーの微調整を促進できることを意味しますが、報酬関数は正常に一般化されます。
このようなアプローチを現実の世界でインスタンス化し、50 の異なるコネクタで事前トレーニングし、学習した報酬関数を介して新しいコネクタにうまく微調整できることを示します。
ビデオは https://sites.google.com/view/learningonthejob で見ることができます

要約(オリジナル)

Learning-based methods in robotics hold the promise of generalization, but what can be done if a learned policy does not generalize to a new situation? In principle, if an agent can at least evaluate its own success (i.e., with a reward classifier that generalizes well even when the policy does not), it could actively practice the task and finetune the policy in this situation. We study this problem in the setting of industrial insertion tasks, such as inserting connectors in sockets and setting screws. Existing algorithms rely on precise localization of the connector or socket and carefully managed physical setups, such as assembly lines, to succeed at the task. But in unstructured environments such as homes or even some industrial settings, robots cannot rely on precise localization and may be tasked with previously unseen connectors. Offline reinforcement learning on a variety of connector insertion tasks is a potential solution, but what if the robot is tasked with inserting previously unseen connector? In such a scenario, we will still need methods that can robustly solve such tasks with online practice. One of the main observations we make in this work is that, with a suitable representation learning and domain generalization approach, it can be significantly easier for the reward function to generalize to a new but structurally similar task (e.g., inserting a new type of connector) than for the policy. This means that a learned reward function can be used to facilitate the finetuning of the robot’s policy in situations where the policy fails to generalize in zero shot, but the reward function generalizes successfully. We show that such an approach can be instantiated in the real world, pretrained on 50 different connectors, and successfully finetuned to new connectors via the learned reward function. Videos can be viewed at https://sites.google.com/view/learningonthejob

arxiv情報

提供元, 利用サービス

arxiv.jp, Google