Improving Robustness via Tilted Exponential Layer: A Communication-Theoretic Perspective

要約

ディープネットワークの堅牢性を強化するための最先端の技術は、ほとんどが適切なデータ増強による経験的なリスクの最小化に依存しています。
この論文では、学習と推論中のニューラル競合を介してニューラル ネットワーク層の出力における信号対雑音比を向上させることを目的とした、通信理論に動機付けられた補完的なアプローチを提案します。
標準的なエンドツーエンド コストの最小化に加えて、ニューロンは、層の傾斜指数 (TEXP) 目的関数の最大化によって層入力をまばらに表現するために競合します。
TEXP 学習は、データ ノイズのガウス モデルに基づく整合フィルターの最尤推定と解釈できます。
TEXP 層での推論は、バッチ ノルムを傾いたソフトマックスで置き換えることによって実現されます。これは、各ニューロンによって表される競合するシグナル伝達仮説の事後確率の計算として解釈できます。
簡略化されたモデルを通じて洞察を提供した後、標準的な画像データセットでの実験により、TEXP の学習と推論により、データの拡張を必要とせずにノイズやその他の一般的な破損に対する堅牢性が強化されることを示します。
TEXP とデータ拡張技術を適切に組み合わせることで、この一連の歪みに対する堅牢性がさらに累積的に向上します。

要約(オリジナル)

State-of-the-art techniques for enhancing robustness of deep networks mostly rely on empirical risk minimization with suitable data augmentation. In this paper, we propose a complementary approach motivated by communication theory, aimed at enhancing the signal-to-noise ratio at the output of a neural network layer via neural competition during learning and inference. In addition to minimization of a standard end-to-end cost, neurons compete to sparsely represent layer inputs by maximization of a tilted exponential (TEXP) objective function for the layer. TEXP learning can be interpreted as maximum likelihood estimation of matched filters under a Gaussian model for data noise. Inference in a TEXP layer is accomplished by replacing batch norm by a tilted softmax, which can be interpreted as computation of posterior probabilities for the competing signaling hypotheses represented by each neuron. After providing insights via simplified models, we show, by experimentation on standard image datasets, that TEXP learning and inference enhances robustness against noise and other common corruptions, without requiring data augmentation. Further cumulative gains in robustness against this array of distortions can be obtained by appropriately combining TEXP with data augmentation techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google