Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks

要約

活性化最大化 (AM) は、最適な入力刺激を生成するよう努め、訓練されたディープ ニューラル ネットワークで高い応答を引き起こす特徴を明らかにします。
AM は説明可能な AI の重要な手法です。
我々は、AM が ReLU または Leaky ReLU を含む単純な関数に対して最適な入力刺激を生成できないことを実証し、AM の実際的な有用性と生成された画像の視覚的解釈に疑問を投げかけます。
この論文では、順方向パスでは元の (通常はゼロ) 傾きを維持しながら、逆方向パスでは大きな負の傾きを持つ Leaky ReLU を使用することに基づいたソリューションを提案します。
このアプローチにより、AM によって検出される最大値が大幅に増加します。
結果として得られる ProxyGrad アルゴリズムは、勾配計算のプロキシとしてセカンダリ ネットワークを使用するニューラル ネットワーク用の新しい最適化手法を実装します。
このプロキシ ネットワークは、元のネットワークよりも極大値が少なく、より単純な損失状況になるように設計されています。
私たちが選択したプロキシ ネットワークは、重みも含めて元のネットワークと同一のコピーであり、Leaky ReLU に明確な負の傾きがあります。
さらに、ProxyGrad を使用して分類用の畳み込みニューラル ネットワークの重みをトレーニングし、テストされたベンチマークの一部で従来のネットワークよりも優れたパフォーマンスを発揮できることを示します。

要約(オリジナル)

Activation maximization (AM) strives to generate optimal input stimuli, revealing features that trigger high responses in trained deep neural networks. AM is an important method of explainable AI. We demonstrate that AM fails to produce optimal input stimuli for simple functions containing ReLUs or Leaky ReLUs, casting doubt on the practical usefulness of AM and the visual interpretation of the generated images. This paper proposes a solution based on using Leaky ReLUs with a high negative slope in the backward pass while keeping the original, usually zero, slope in the forward pass. The approach significantly increases the maxima found by AM. The resulting ProxyGrad algorithm implements a novel optimization technique for neural networks that employs a secondary network as a proxy for gradient computation. This proxy network is designed to have a simpler loss landscape with fewer local maxima than the original network. Our chosen proxy network is an identical copy of the original network, including its weights, with distinct negative slopes in the Leaky ReLUs. Moreover, we show that ProxyGrad can be used to train the weights of Convolutional Neural Networks for classification such that, on some of the tested benchmarks, they outperform traditional networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google