SubIQ: Inverse Soft-Q Learning for Offline Imitation with Suboptimal Demonstrations

要約

環境とのさらなる対話を行わずに、デモンストレーションから専門家の行動を模倣することを目的としたオフライン模倣学習 (IL) について考えます。
オフライン IL における主な課題の 1 つは、国家活動の領域のごく一部のみをカバーする専門家のデモンストレーションによる限られたサポートに対処することです。
この作業では、オフライン IL を考慮します。オフライン IL では、専門家のデモンストレーションは限定されていますが、より低い専門知識レベルの次善のデモンストレーションの大規模なセットによって補完されます。
この設定用に開発された既存のオフライン IL メソッドのほとんどは、動作クローン作成または分布マッチングに基づいており、その目的は、模倣ポリシーの占有分布をエキスパート ポリシーの占有分布と一致させることです。
このようなアプローチでは、占有分布を正確に表現するには専門家のデモンストレーションが限られているため、オーバーフィッティングが発生することがよくあります。
一方、次善のセットははるかに大きいため、模倣ポリシーが次善のポリシーに向けて訓練される可能性が高くなります。
この論文では、これらの問題に対処するために、逆ソフト Q 学習に基づく新しいアプローチを提案します。このアプローチでは、学習された報酬を、事前に割り当てられた報酬関数と一致させることを目的として、トレーニング目標に正則化項が追加されます。
専門家のデモンストレーションからの状態と行動のペアにはより高い重みが付けられ、より低い専門知識レベルからの状態と行動のペアにはより低い重みが付けられます。
標準ベンチマークでは、当社の逆ソフト Q 学習は、他のオフライン IL ベースラインを大幅に上回っています。

要約(オリジナル)

We consider offline imitation learning (IL), which aims to mimic the expert’s behavior from its demonstration without further interaction with the environment. One of the main challenges in offline IL is dealing with the limited support of expert demonstrations that cover only a small fraction of the state-action spaces. In this work, we consider offline IL, where expert demonstrations are limited but complemented by a larger set of sub-optimal demonstrations of lower expertise levels. Most of the existing offline IL methods developed for this setting are based on behavior cloning or distribution matching, where the aim is to match the occupancy distribution of the imitation policy with that of the expert policy. Such an approach often suffers from over-fitting, as expert demonstrations are limited to accurately represent any occupancy distribution. On the other hand, since sub-optimal sets are much larger, there is a high chance that the imitation policy is trained towards sub-optimal policies. In this paper, to address these issues, we propose a new approach based on inverse soft-Q learning, where a regularization term is added to the training objective, with the aim of aligning the learned rewards with a pre-assigned reward function that allocates higher weights to state-action pairs from expert demonstrations, and lower weights to those from lower expertise levels. On standard benchmarks, our inverse soft-Q learning significantly outperforms other offline IL baselines by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google