Sensitivity-Based Layer Insertion for Residual and Feedforward Neural Networks

要約

ニューラル ネットワークのトレーニングには、面倒なネットワーク アーキテクチャの手動調整が必要になることがよくあります。
私たちは、トレーニング プロセス中に新しい層を挿入する体系的な方法を提案します。これにより、トレーニング前に固定のネットワーク サイズを選択する必要がなくなります。
私たちの技術は制約付き最適化から技術を借用しており、追加のレイヤーが挿入された場合に提供される仮想パラメーターに関する対物レンズの一次感度情報に基づいています。
選択された活性化関数と残差ニューラル ネットワークを備えた完全に接続されたフィードフォワード ネットワークを考慮します。
数値実験では、提案された感度ベースのレイヤー挿入手法は、レイヤーを挿入しない場合と比較して、トレーニング減衰が改善されたことを示しています。
さらに、最初からレイヤーを挿入する場合と比較して、計算量が削減されます。
コードは \url{https://github.com/LeonieKreis/layer_insertion_sensitivity_based} で入手できます。

要約(オリジナル)

The training of neural networks requires tedious and often manual tuning of the network architecture. We propose a systematic method to insert new layers during the training process, which eliminates the need to choose a fixed network size before training. Our technique borrows techniques from constrained optimization and is based on first-order sensitivity information of the objective with respect to the virtual parameters that additional layers, if inserted, would offer. We consider fully connected feedforward networks with selected activation functions as well as residual neural networks. In numerical experiments, the proposed sensitivity-based layer insertion technique exhibits improved training decay, compared to not inserting the layer. Furthermore, the computational effort is reduced in comparison to inserting the layer from the beginning. The code is available at \url{https://github.com/LeonieKreis/layer_insertion_sensitivity_based}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google