Mixup Regularization: A Probabilistic Perspective

要約

近年、混合の正則化は、トレーニングデータの凸の組み合わせに関するトレーニングにより、ディープラーニングモデルの一般化パフォーマンスを改善する効果的な方法として人気を博しています。
多くの混合バリアントが調査されていますが、条件付き密度の推定と確率的機械学習に対する技術の適切な採用は、比較的未開拓のままです。
この作業では、条件付き密度推定タスクに適した確率的融合に基づいた混合の正規化のための新しいフレームワークを紹介します。
指数ファミリーのメンバーに従って配布されたデータの場合、尤度関数を対数線形プーリングを使用して分析的に融合できることを示します。
さらに、確率的混合の拡張を提案します。これにより、ニューラルネットワークの任意の中間層での入力の融合が可能になります。
標準の混合バリアントとのアプローチを比較する理論分析を提供します。
合成および実際のデータセットの経験的結果は、既存の混合バリアントと比較して、提案されたフレームワークの利点を示しています。

要約(オリジナル)

In recent years, mixup regularization has gained popularity as an effective way to improve the generalization performance of deep learning models by training on convex combinations of training data. While many mixup variants have been explored, the proper adoption of the technique to conditional density estimation and probabilistic machine learning remains relatively unexplored. This work introduces a novel framework for mixup regularization based on probabilistic fusion that is better suited for conditional density estimation tasks. For data distributed according to a member of the exponential family, we show that likelihood functions can be analytically fused using log-linear pooling. We further propose an extension of probabilistic mixup, which allows for fusion of inputs at an arbitrary intermediate layer of the neural network. We provide a theoretical analysis comparing our approach to standard mixup variants. Empirical results on synthetic and real datasets demonstrate the benefits of our proposed framework compared to existing mixup variants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google