Insights into the Lottery Ticket Hypothesis and Iterative Magnitude Pruning

要約

ディープ ニューラル ネットワークの宝くじ仮説では、反復的な大きさの枝刈りプロセスを使用して得られたスパーサー ネットワークを再トレーニングするために使用される初期化の重要性が強調されています。
宝くじ仮説によって提案された特定の初期化が、一般化 (およびトレーニング) パフォーマンスの観点からより適切に機能する傾向がある理由についての説明は不足しています。
さらに、より小さい振幅の重みの枝刈りや反復プロセスの役割など、反復振幅枝刈りの基本原則は完全な理解と説明を欠いています。
この研究では、反復的な大きさの枝刈りプロセスのさまざまな段階で得られたソリューションのボリューム/ジオメトリおよび損失ランドスケープの特性を経験的に研究することにより、これらの現象についての洞察を提供することを試みます。

要約(オリジナル)

Lottery ticket hypothesis for deep neural networks emphasizes the importance of initialization used to re-train the sparser networks obtained using the iterative magnitude pruning process. An explanation for why the specific initialization proposed by the lottery ticket hypothesis tends to work better in terms of generalization (and training) performance has been lacking. Moreover, the underlying principles in iterative magnitude pruning, like the pruning of smaller magnitude weights and the role of the iterative process, lack full understanding and explanation. In this work, we attempt to provide insights into these phenomena by empirically studying the volume/geometry and loss landscape characteristics of the solutions obtained at various stages of the iterative magnitude pruning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google