Hyperparameter Optimization through Neural Network Partitioning

要約

タイトル: ニューラルネットワークのパーティショニングを通じたハイパーパラメータの最適化
要約:
– よく調整されたハイパーパラメータはニューラルネットワークの一般化動作を改善するために重要である。
– 著者らは、バリデーションデータなしで最適化目的である周辺尤度に着想を得た効率的な方法を提案する。
– 彼らの手法は、トレーニングデータとニューラルネットワークモデルをK個に分割し、それぞれについて最適化することで、新規データに対する損失をハイパーパラメータの最適化目的とすることができる。
– 著者らは、この目的を用いて複数のハイパーパラメータを同時に最適化することができることを示す。
– また、著者らはフェデレーテッド・ラーニングにおけるハイパーパラメータ最適化にも焦点を当て、再トレーニングや交差検証が特に困難な状況であっても、本手法が有益であることを示している。

要約(オリジナル)

Well-tuned hyperparameters are crucial for obtaining good generalization behavior in neural networks. They can enforce appropriate inductive biases, regularize the model and improve performance — especially in the presence of limited data. In this work, we propose a simple and efficient way for optimizing hyperparameters inspired by the marginal likelihood, an optimization objective that requires no validation data. Our method partitions the training data and a neural network model into $K$ data shards and parameter partitions, respectively. Each partition is associated with and optimized only on specific data shards. Combining these partitions into subnetworks allows us to define the “out-of-training-sample’ loss of a subnetwork, i.e., the loss on data shards unseen by the subnetwork, as the objective for hyperparameter optimization. We demonstrate that we can apply this objective to optimize a variety of different hyperparameters in a single training run while being significantly computationally cheaper than alternative methods aiming to optimize the marginal likelihood for neural networks. Lastly, we also focus on optimizing hyperparameters in federated learning, where retraining and cross-validation are particularly challenging.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI