Generalisable Agents for Neural Network Optimisation

要約

ディープ ニューラル ネットワークの最適化は、複雑なトレーニング ダイナミクス、高い計算要件、長いトレーニング時間のため、困難なタスクです。
この困難に対処するために、私たちはニューラル ネットワーク最適化のための一般化可能なエージェント (GANNO) のフレームワークを提案します。これは、トレーニング中にハイパーパラメーターを動的かつ応答的にスケジュールすることによってニューラル ネットワークの最適化を改善する方法を学習するマルチエージェント強化学習 (MARL) アプローチです。
GANO は、局所的なネットワークのダイナミクスを観察するレイヤーごとのエージェントを利用し、それに応じてこれらのダイナミクスをレイヤーレベルで調整するアクションを実行して、全体的にグローバルなパフォーマンスを向上させます。
この論文では、GANO を使用して層ごとの学習率を制御し、このフレームワークが手作りのヒューリスティックに匹敵する便利で応答性の高いスケジュールを生成できることを示します。
さらに、GANO はさまざまな目に見えない初期条件に対して堅牢に動作し、トレーニングされた問題よりも困難な問題にもうまく一般化できることが示されています。
私たちの研究は、このパラダイムがニューラル ネットワークのトレーニングに提供する機会の概要と、克服すべき主要な課題を示しています。

要約(オリジナル)

Optimising deep neural networks is a challenging task due to complex training dynamics, high computational requirements, and long training times. To address this difficulty, we propose the framework of Generalisable Agents for Neural Network Optimisation (GANNO) — a multi-agent reinforcement learning (MARL) approach that learns to improve neural network optimisation by dynamically and responsively scheduling hyperparameters during training. GANNO utilises an agent per layer that observes localised network dynamics and accordingly takes actions to adjust these dynamics at a layerwise level to collectively improve global performance. In this paper, we use GANNO to control the layerwise learning rate and show that the framework can yield useful and responsive schedules that are competitive with handcrafted heuristics. Furthermore, GANNO is shown to perform robustly across a wide variety of unseen initial conditions, and can successfully generalise to harder problems than it was trained on. Our work presents an overview of the opportunities that this paradigm offers for training neural networks, along with key challenges that remain to be overcome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google