Optimizing Neural Networks through Activation Function Discovery and Automatic Weight Initialization

要約

タイトル：活性化関数の探索と自動重み初期化によるニューラルネットワークの最適化

要約：
– 自動機械学習（AutoML）手法は、既存のモデルを最適化することにより改善を図っている。
– 現在の手法は、ハイパーパラメータやニューラルネットワークのトポロジーに焦点を当てているが、ニューラルネットワークの設計の他の側面も最適化できる。
– 本論文は、より強力な活性化関数の発見と、ニューラルネットワークのより堅牢な重み初期化を確立するための技術を紹介している。
– これらの貢献はパフォーマンスの向上だけでなく、ニューラルネットワークの最適化に新しい視点を提供する。
– まず、本論文は、特定のアーキテクチャとタスクに特化したソリューションを発見することが一般的なアプローチを再利用するよりも優れたパフォーマンスを提供することを示している。
– 次に、異なるニューラルネットワークコンポーネントを同時に最適化することが相乗効果を発揮し、個々のコンポーネントだけを最適化するよりも優れたパフォーマンスを提供することを示している。
– さらに、学習された表現はハードコーディングされた表現よりも最適化が容易であり、AutoMLにさらなる機会を提供することを示している。
– したがって、本論文は将来的に完全自動化された機械学習に向けた具体的な進歩を実現している。

要約(オリジナル)

Automated machine learning (AutoML) methods improve upon existing models by optimizing various aspects of their design. While present methods focus on hyperparameters and neural network topologies, other aspects of neural network design can be optimized as well. To further the state of the art in AutoML, this dissertation introduces techniques for discovering more powerful activation functions and establishing more robust weight initialization for neural networks. These contributions improve performance, but also provide new perspectives on neural network optimization. First, the dissertation demonstrates that discovering solutions specialized to specific architectures and tasks gives better performance than reusing general approaches. Second, it shows that jointly optimizing different components of neural networks is synergistic, and results in better performance than optimizing individual components alone. Third, it demonstrates that learned representations are easier to optimize than hard-coded ones, creating further opportunities for AutoML. The dissertation thus makes concrete progress towards fully automatic machine learning in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI