PolyTask: Learning Unified Policies through Behavior Distillation

要約

さまざまなタスクを解決できる統合モデルは、タスク間で規則性や構造を共有できるため、ビジョンと NLP で注目を集めています。これにより、個々のタスクのパフォーマンスが向上し、計算量が削減されます。
ただし、このようなモデルの効果は、対話性、サンプルの非効率性、および逐次的なタスクの提示に起因する特有の課題を提示する具体化された学習問題では依然として限定的です。
この研究では、「学習してから蒸留する」メカニズムを通じてさまざまな具現化されたタスクを解決できる、単一の統合モデルを学習するための新しい方法である PolyTask を紹介します。
「学習」ステップでは、PolyTask はタスクごとにいくつかのデモンストレーションを活用して、タスク固有のポリシーをトレーニングします。
次に、「蒸留」ステップで、動作蒸留と呼ばれる新しい蒸留方法を使用して、タスク固有のポリシーが 1 つのポリシーに蒸留されます。
統一されたポリシーがあれば、条件変数を通じて個々のタスクの動作を抽出できます。
PolyTask は、概念的にシンプルになるように設計されていますが、RL で確立されたアルゴリズムを活用して対話性を実現し、少数の専門家によるデモンストレーションによりサンプル効率を高め、蒸留中にタスクへの対話型アクセスを防止して生涯学習を可能にします。
3 つのシミュレートされた環境スイートと実際のロボット スイートにわたる実験では、PolyTask がマルチタスクおよび生涯学習の設定において従来の最先端のアプローチよりも大幅に優れていることが示されています。

要約(オリジナル)

Unified models capable of solving a wide variety of tasks have gained traction in vision and NLP due to their ability to share regularities and structures across tasks, which improves individual task performance and reduces computational footprint. However, the impact of such models remains limited in embodied learning problems, which present unique challenges due to interactivity, sample inefficiency, and sequential task presentation. In this work, we present PolyTask, a novel method for learning a single unified model that can solve various embodied tasks through a ‘learn then distill’ mechanism. In the ‘learn’ step, PolyTask leverages a few demonstrations for each task to train task-specific policies. Then, in the ‘distill’ step, task-specific policies are distilled into a single policy using a new distillation method called Behavior Distillation. Given a unified policy, individual task behavior can be extracted through conditioning variables. PolyTask is designed to be conceptually simple while being able to leverage well-established algorithms in RL to enable interactivity, a handful of expert demonstrations to allow for sample efficiency, and preventing interactive access to tasks during distillation to enable lifelong learning. Experiments across three simulated environment suites and a real-robot suite show that PolyTask outperforms prior state-of-the-art approaches in multi-task and lifelong learning settings by significant margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google