Exponential Speedups by Rerooting Levin Tree Search

要約

Levin Tree Search (LTS) (Orseau et al.、2018) は、ユーザー指定のポリシーを使用して検索をガイドする、決定論的環境用の検索アルゴリズムです。
ポリシーの品質に応じて、ソリューション ノードを見つけるための検索ステップの数が正式に保証されます。
この論文では、$\sqrt{\text{LTS}}$ (ルート LTS と読みます) と呼ばれる新しいアルゴリズムを紹介します。これは、検索ツリーのすべてのノードをルートとする LTS 検索を暗黙的に開始します。
各 LTS 検索には、(ユーザー定義または学習された) リルート機能によってリルートの重みが割り当てられ、検索の労力は重みに比例してすべての LTS 検索間で共有されます。
再ルート メカニズムは暗黙的に検索スペースをサブタスクに分解し、大幅な高速化につながります。
$\sqrt{\text{LTS}}$ が必要とする検索ステップの数は、リルータの不確実性に関連する要素を犠牲にして、サブタスクへの最適な分解に匹敵することを証明します。
LTS に $T$ の時間がかかる場合、$q$ ポイントの再ルートを使用する最良のケースでは、$\sqrt{\text{LTS}}$ にかかる時間は $O(q\sqrt[q]{T})$ だけです。
ポリシーと同様に、リルート機能もデータから学習でき、$\sqrt{\text{LTS}}$ は幅広いドメインに適用できると予想されます。

要約(オリジナル)

Levin Tree Search (LTS) (Orseau et al., 2018) is a search algorithm for deterministic environments that uses a user-specified policy to guide the search. It comes with a formal guarantee on the number of search steps for finding a solution node that depends on the quality of the policy. In this paper, we introduce a new algorithm, called $\sqrt{\text{LTS}}$ (pronounce root-LTS), which implicitly starts an LTS search rooted at every node of the search tree. Each LTS search is assigned a rerooting weight by a (user-defined or learnt) rerooter, and the search effort is shared between all LTS searches proportionally to their weights. The rerooting mechanism implicitly decomposes the search space into subtasks, leading to significant speedups. We prove that the number of search steps that $\sqrt{\text{LTS}}$ takes is competitive with the best decomposition into subtasks, at the price of a factor that relates to the uncertainty of the rerooter. If LTS takes time $T$, in the best case with $q$ rerooting points, $\sqrt{\text{LTS}}$ only takes time $O(q\sqrt[q]{T})$. Like the policy, the rerooter can be learnt from data, and we expect $\sqrt{\text{LTS}}$ to be applicable to a wide range of domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google