Input margins can predict generalization too

要約

ディープ ニューラル ネットワークにおける一般化の理解は、活発な研究分野です。
有望な探求手段は、マージン測定、つまり、ネットワーク内部の特定のサンプルまたはその表現の決定境界までの最短距離です。
マージンは、隠れた表現 (隠れマージン) で測定した場合、モデルの一般化能力と相関があることが示されていますが、入力マージンについては、大きなマージンと一般化との間にそのような関連性は確立されていません。
入力マージンは一般に一般化を予測しませんが、検索空間が適切に制限されている場合には一般化を予測できる可能性があることを示します。
私たちは、入力マージンに基づいてそのような尺度を開発します。これを「制約付きマージン」と呼びます。
この新しい尺度の予測力は、「深層学習における予測一般化」(PGDL) データセットで実証され、隠れた表現マージンと対比されます。
制約されたマージンは非常に競争力のあるスコアを達成し、一般に他のマージン測定よりも優れていることがわかりました。
これは、一般化と分類マージンの関係についての新たな洞察を提供し、DNN での一般化の調査においてデータ多様体を考慮することの重要性を強調しています。

要約(オリジナル)

Understanding generalization in deep neural networks is an active area of research. A promising avenue of exploration has been that of margin measurements: the shortest distance to the decision boundary for a given sample or its representation internal to the network. While margins have been shown to be correlated with the generalization ability of a model when measured at its hidden representations (hidden margins), no such link between large margins and generalization has been established for input margins. We show that while input margins are not generally predictive of generalization, they can be if the search space is appropriately constrained. We develop such a measure based on input margins, which we refer to as `constrained margins’. The predictive power of this new measure is demonstrated on the ‘Predicting Generalization in Deep Learning’ (PGDL) dataset and contrasted with hidden representation margins. We find that constrained margins achieve highly competitive scores and outperform other margin measurements in general. This provides a novel insight on the relationship between generalization and classification margins, and highlights the importance of considering the data manifold for investigations of generalization in DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google