Dataset Clustering for Improved Offline Policy Learning

要約

オフライン ポリシー学習は、環境との追加のオンライン インタラクションを行わずに、以前に収集されたデータセットから意思決定ポリシーを発見することを目的としています。
トレーニング データセットが固定されているため、その品質が学習されたポリシーのパフォーマンスを決定する重要な要素になります。
この論文では、マルチ動作と呼ばれるデータセットの特性を研究します。これは、データセットが、異なる動作を示す複数のポリシーを使用して収集されていることを示しています。
対照的に、単一行動データセットは 1 つのポリシーのみを使用して収集されます。
単一行動データセットには例が少なく多様性が少ないにもかかわらず、単一行動データセットから学習したポリシーは通常、複数行動データセットから学習したポリシーよりも優れたパフォーマンスを発揮することが観察されました。
したがって、私たちは、複数の行動データセットをいくつかの単一行動のサブセットに分割し、それによって下流のポリシー学習に利益をもたらす、行動を意識したディープクラスタリングアプローチを提案します。
私たちのアプローチは柔軟かつ効果的です。
高いクラスタリング精度を実証しながらクラスターの数を適応的に推定することができ、さまざまな連続制御タスク データセット全体で平均調整ランド インデックス 0.987 を達成します。
最後に、データセット クラスタリングを使用して改善されたポリシー学習の例を示し、私たちのアプローチがオフラインのポリシー学習コミュニティに利益をもたらす可能性のあるいくつかの潜在的なシナリオについて説明します。

要約(オリジナル)

Offline policy learning aims to discover decision-making policies from previously-collected datasets without additional online interactions with the environment. As the training dataset is fixed, its quality becomes a crucial determining factor in the performance of the learned policy. This paper studies a dataset characteristic that we refer to as multi-behavior, indicating that the dataset is collected using multiple policies that exhibit distinct behaviors. In contrast, a uni-behavior dataset would be collected solely using one policy. We observed that policies learned from a uni-behavior dataset typically outperform those learned from multi-behavior datasets, despite the uni-behavior dataset having fewer examples and less diversity. Therefore, we propose a behavior-aware deep clustering approach that partitions multi-behavior datasets into several uni-behavior subsets, thereby benefiting downstream policy learning. Our approach is flexible and effective; it can adaptively estimate the number of clusters while demonstrating high clustering accuracy, achieving an average Adjusted Rand Index of 0.987 across various continuous control task datasets. Finally, we present improved policy learning examples using dataset clustering and discuss several potential scenarios where our approach might benefit the offline policy learning community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google