Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features

要約

この論文では、ディープ ニューラル ネットワーク (DNN) 学習相互作用のダイナミクスを調査します。
これまでの研究では、各入力サンプルが与えられた場合、よく訓練された DNN は通常、サンプル内の入力変数間の少数の相互作用 (非線形関係) のみをエンコードすることが発見され、数学的に証明されています。
DNN の推論は、これらの相互作用を推論のプリミティブ パターンとして使用するのと同等であると考えることができることを証明するために、一連の定理が導出されています。
この論文では、DNN が 2 つのフェーズでインタラクションを学習することを発見しました。
最初のフェーズでは主に中次数と高次の相互作用にペナルティを与え、第 2 フェーズでは主に徐々に増加する次数の相互作用を学習します。
2 段階の現象は、DNN 学習の過適合特徴の開始点と考えることができます。
このような現象は、さまざまなタスク向けにトレーニングされたさまざまなアーキテクチャを備えた DNN によって広く共有されています。
したがって、2 フェーズ ダイナミクスの発見により、DNN がさまざまな推論パターン (相互作用) を徐々に学習する方法の詳細なメカニズムが提供されます。
特に、高次の相互作用は低次の相互作用よりも汎化力が弱いという主張も検証しました。
したがって、発見された 2 相ダイナミクスは、DNN の汎化力がトレーニング プロセス中にどのように変化するかを説明することにもなります。

要約(オリジナル)

This paper investigates the dynamics of a deep neural network (DNN) learning interactions. Previous studies have discovered and mathematically proven that given each input sample, a well-trained DNN usually only encodes a small number of interactions (non-linear relationships) between input variables in the sample. A series of theorems have been derived to prove that we can consider the DNN’s inference equivalent to using these interactions as primitive patterns for inference. In this paper, we discover the DNN learns interactions in two phases. The first phase mainly penalizes interactions of medium and high orders, and the second phase mainly learns interactions of gradually increasing orders. We can consider the two-phase phenomenon as the starting point of a DNN learning over-fitted features. Such a phenomenon has been widely shared by DNNs with various architectures trained for different tasks. Therefore, the discovery of the two-phase dynamics provides a detailed mechanism for how a DNN gradually learns different inference patterns (interactions). In particular, we have also verified the claim that high-order interactions have weaker generalization power than low-order interactions. Thus, the discovered two-phase dynamics also explains how the generalization power of a DNN changes during the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google