Efficient Non-Parametric Optimizer Search for Diverse Tasks

要約

オプティマイザーの効率的で自動化された設計は、フルスタックの AutoML システムで重要な役割を果たします。
ただし、オプティマイザー検索の従来の方法は、多くの場合、スケーラビリティ、生成可能性、またはサンプル効率によって制限されます。
オプティマイザー検索の研究と応用を民主化することを目標に、関心のあるタスクを直接検索できる、効率的でスケーラブルで一般化可能な最初のフレームワークを提示します。
最初に、オプティマイザーの更新が基本的に勾配に適用される数式であることを確認します。
基礎となる数式の固有のツリー構造に着想を得て、オプティマイザーのスペースをスーパーツリーに再配置し、各パスがオプティマイザーをエンコードします。
このように、オプティマイザ検索は経路探索問題として自然に定式化でき、確立されたさまざまなツリー トラバーサル手法を検索アルゴリズムとして使用できます。
木探索にモンテカルロ法を応用し、オプティマイザ更新ルールの特徴を活かした棄却サンプリングや同値形検出を搭載し、さらにサンプル効率を高めています。
アルゴリズムをベンチマークするためのさまざまなタスクのセットを提供し、わずか 128 回の評価で、提案されたフレームワークが、人間が設計した対応するオプティマイザーと以前のオプティマイザー検索方法の両方を超えるオプティマイザーを発見できることを示します。

要約(オリジナル)

Efficient and automated design of optimizers plays a crucial role in full-stack AutoML systems. However, prior methods in optimizer search are often limited by their scalability, generability, or sample efficiency. With the goal of democratizing research and application of optimizer search, we present the first efficient, scalable and generalizable framework that can directly search on the tasks of interest. We first observe that optimizer updates are fundamentally mathematical expressions applied to the gradient. Inspired by the innate tree structure of the underlying math expressions, we re-arrange the space of optimizers into a super-tree, where each path encodes an optimizer. This way, optimizer search can be naturally formulated as a path-finding problem, allowing a variety of well-established tree traversal methods to be used as the search algorithm. We adopt an adaptation of the Monte Carlo method to tree search, equipped with rejection sampling and equivalent- form detection that leverage the characteristics of optimizer update rules to further boost the sample efficiency. We provide a diverse set of tasks to benchmark our algorithm and demonstrate that, with only 128 evaluations, the proposed framework can discover optimizers that surpass both human-designed counterparts and prior optimizer search methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google