Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective

要約

多くの一般的な転移学習手法は、グリッド検索に依存して、過剰適合を制御する正則化ハイパーパラメーターを選択します。
このグリッド検索要件には、いくつかの重要な欠点があります。検索には計算コストがかかり、モデルのトレーニングに使用できるデータのサイズを減らす検証セットを切り出す必要があり、実務者が候補値を指定する必要があります。
この論文では、グリッド検索の代替案を提案します。それは、変分法からの証拠下限 (「ELBo」) 目的に基づくモデル選択手法を介して、完全なトレーニング セットの正則化ハイパーパラメータを直接学習することです。
数百万のパラメータを持つディープ ニューラル ネットワークの場合、ベイジアン モデル選択の証拠の有効な限界を維持しながら、事前データと比較してデータ尤度の影響を重み付けする修正 ELBo を特にお勧めします。
私たちが提案する手法は、グリッド検索の 3 つの欠点をすべて克服します。
いくつかのデータセットに対する画像分類タスクの有効性を実証し、はるかに短い計算時間で既存のアプローチと同等のホールドアウト精度を実現します。

要約(オリジナル)

A number of popular transfer learning methods rely on grid search to select regularization hyperparameters that control over-fitting. This grid search requirement has several key disadvantages: the search is computationally expensive, requires carving out a validation set that reduces the size of available data for model training, and requires practitioners to specify candidate values. In this paper, we propose an alternative to grid search: directly learning regularization hyperparameters on the full training set via model selection techniques based on the evidence lower bound (‘ELBo’) objective from variational methods. For deep neural networks with millions of parameters, we specifically recommend a modified ELBo that upweights the influence of the data likelihood relative to the prior while remaining a valid bound on the evidence for Bayesian model selection. Our proposed technique overcomes all three disadvantages of grid search. We demonstrate effectiveness on image classification tasks on several datasets, yielding heldout accuracy comparable to existing approaches with far less compute time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google