Beyond Behavior Cloning: Robustness through Interactive Imitation and Contrastive Learning

要約

行動クローン（BC）は、実証されたアクションが最適であると仮定して、伝統的にデモデータに依存しています。
これにより、特に表現型モデルが使用される場合（たとえば、暗黙のBCのエネルギーベースのモデル）、騒々しいデータの下で過剰留まることにつながる可能性があります。
これに対処するために、動作は、インタラクティブな模倣学習フレームワーク内で、最適なアクション推定の反復プロセスにクローニングします。
具体的には、インタラクティブ補正（CLIC）から対照的なポリシー学習を導入します。
CLICは、人間の修正を活用して、一連の目的のアクションを推定し、このセットからアクションを選択するポリシーを最適化します。
単一および複数の最適アクションケースの両方で、最適なアクションに設定された目的のアクションセットの収束の理論的保証を提供します。
大規模なシミュレーションとレアルロボット実験では、エネルギーベースのモデルの安定したトレーニング、フィードバックノイズへの堅牢性、デモを超えた多様なフィードバックタイプへの適応性など、既存の最先端の方法に対するCLICの利点を検証します。
私たちのコードはまもなく公開されます。

要約(オリジナル)

Behavior cloning (BC) traditionally relies on demonstration data, assuming the demonstrated actions are optimal. This can lead to overfitting under noisy data, particularly when expressive models are used (e.g., the energy-based model in Implicit BC). To address this, we extend behavior cloning into an iterative process of optimal action estimation within the Interactive Imitation Learning framework. Specifically, we introduce Contrastive policy Learning from Interactive Corrections (CLIC). CLIC leverages human corrections to estimate a set of desired actions and optimizes the policy to select actions from this set. We provide theoretical guarantees for the convergence of the desired action set to optimal actions in both single and multiple optimal action cases. Extensive simulation and real-robot experiments validate CLIC’s advantages over existing state-of-the-art methods, including stable training of energy-based models, robustness to feedback noise, and adaptability to diverse feedback types beyond demonstrations. Our code will be publicly available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google