Automatic Gradient Descent: Deep Learning without Hyperparameters

要約

タイトル：ハイパーパラメーターなしのディープラーニング：自動勾配降下法

要約：
– ニューラルネットワークのアーキテクチャは、レイヤーの数、各レイヤーの幅、およびネットワーク全体のトポロジーに明示的に定義される。
– 存在する最適化フレームワークは、暗黙のうちにアーキテクチャ情報を無視して、暗黙のうちにアーキテクチャ情報を含む距離関数（二次関数など）に重点を置く。
– この論文では、ニューラルアーキテクチャを明示的に活用する最適化アルゴリズムを導出する新しいフレームワークを構築する。
– この理論は、凸でない複合目的関数に対してミラー降下法を拡張するもので、ニューラルネットワークの非線形構造を考慮するためにBregman距離を変換するというアイデアを利用する。
– これにより、自動勾配降下法が導入され、ハイパーパラメーターなしで深層完全接続ネットワークおよび畳み込みネットワークを学習できる。
– PyTorchの実装はhttps://github.com/jxbz/agdおよびAppendix Bに入手できる。
– 全体的に、この論文は、自動的に、またハイパーパラメーターなしで動作するアーキテクチャ依存の最適化アルゴリズムの次世代の堅牢な理論的基盤を提供する。

要約(オリジナル)

The architecture of a deep neural network is defined explicitly in terms of the number of layers, the width of each layer and the general network topology. Existing optimisation frameworks neglect this information in favour of implicit architectural information (e.g. second-order methods) or architecture-agnostic distance functions (e.g. mirror descent). Meanwhile, the most popular optimiser in practice, Adam, is based on heuristics. This paper builds a new framework for deriving optimisation algorithms that explicitly leverage neural architecture. The theory extends mirror descent to non-convex composite objective functions: the idea is to transform a Bregman divergence to account for the non-linear structure of neural architecture. Working through the details for deep fully-connected networks yields automatic gradient descent: a first-order optimiser without any hyperparameters. Automatic gradient descent trains both fully-connected and convolutional networks out-of-the-box and at ImageNet scale. A PyTorch implementation is available at https://github.com/jxbz/agd and also in Appendix B. Overall, the paper supplies a rigorous theoretical foundation for a next-generation of architecture-dependent optimisers that work automatically and without hyperparameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI