Parametric-Task MAP-Elites

要約

関数の類似性を利用して一連の関数を同時に最適化することは、マルチタスク最適化と呼ばれる。現在のブラックボックス型マルチタスク最適化アルゴリズムでは、タスクが連続空間に由来する場合でも、有限のタスク集合しか解くことができない。本論文では、連続マルチタスク最適化問題のための新しいブラックボックスアルゴリズムであるParametric-Task MAP-Elites(PT-ME)を紹介する。このアルゴリズムは、(1)各反復で新しいタスクを解き、連続空間を効果的にカバーし、(2)局所線形回帰に基づく新しい変動演算子を利用する。その結果得られる解のデータセットにより、任意のタスクパラメータをその最適解に対応付ける関数を作成することが可能となる。我々は、PT-MEが、2つのパラメトリックタスク玩具問題とシミュレーションにおけるロボット問題において、深層強化学習アルゴリズムPPOを含む全てのベースラインを凌駕することを示す。

要約(オリジナル)

Optimizing a set of functions simultaneously by leveraging their similarity is called multi-task optimization. Current black-box multi-task algorithms only solve a finite set of tasks, even when the tasks originate from a continuous space. In this paper, we introduce Parametric-Task MAP-Elites (PT-ME), a new black-box algorithm for continuous multi-task optimization problems. This algorithm (1) solves a new task at each iteration, effectively covering the continuous space, and (2) exploits a new variation operator based on local linear regression. The resulting dataset of solutions makes it possible to create a function that maps any task parameter to its optimal solution. We show that PT-ME outperforms all baselines, including the deep reinforcement learning algorithm PPO on two parametric-task toy problems and a robotic problem in simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL