NoisyNN: Exploring the Impact of Information Entropy Change in Learning Systems

要約

私たちは、埋め込み空間や画像など、さまざまなレベルでのノイズ注入による深層学習システムのエントロピー変化の影響を調査します。
私たちの手法を採用した一連のモデルは、NoisyViT や NoisyCNN などの例とともに、総称して Noisy Neural Networks (NoisyNN) として知られています。
ノイズは従来、畳み込みニューラル ネットワーク (CNN) やビジョン トランスフォーマー (ViT) などのさまざまな深層学習アーキテクチャや、画像分類や転移学習などのさまざまな学習タスクにおいて有害な摂動とみなされてきました。
しかし、この研究は、ノイズが学習システムのエントロピーを変更する効果的な方法となり得ることを示しています。
特定の条件下で、特定のノイズがさまざまなディープ モデルのパフォーマンスを向上させることができることを実証します。
私たちは、情報エントロピーによって定義されるタスクの複雑さを軽減することによってポジティブ ノイズから得られる強化を理論的に証明し、ImageNet などの大規模な画像データセットでの大幅なパフォーマンスの向上を実験的に示します。
ここでは、情報エントロピーを使用してタスクの複雑さを定義します。
ノイズがタスクの複雑さを軽減できるかどうかに基づいて、ノイズを正のノイズ (PN) と有害なノイズ (HN) の 2 つのタイプに分類します。
CNN と ViT の広範な実験では、ポジティブ ノイズを積極的に注入することでパフォーマンスが向上することが示されており、ImageNet で 95$\%$ という前例のないトップ 1 の精度を達成しました。
理論的分析と経験的証拠の両方により、正のノイズの存在は学習プロセスに利益をもたらす可能性がある一方、従来認識されていた有害なノイズは実際に深層学習モデルに悪影響を与えることが確認されています。
ノイズのさまざまな役割は、特定のタスクに関するディープ モデルに新しい説明を提供し、モデルのパフォーマンスを向上させるための新しいパラダイムを提供します。
さらに、情報エントロピーの変化を通じて学習システムのパフォーマンスに影響を与えることができることを思い出させます。

要約(オリジナル)

We investigate the impact of entropy change in deep learning systems by noise injection at different levels, including the embedding space and the image. The series of models that employ our methodology are collectively known as Noisy Neural Networks (NoisyNN), with examples such as NoisyViT and NoisyCNN. Noise is conventionally viewed as a harmful perturbation in various deep learning architectures, such as convolutional neural networks (CNNs) and vision transformers (ViTs), as well as different learning tasks like image classification and transfer learning. However, this work shows noise can be an effective way to change the entropy of the learning system. We demonstrate that specific noise can boost the performance of various deep models under certain conditions. We theoretically prove the enhancement gained from positive noise by reducing the task complexity defined by information entropy and experimentally show the significant performance gain in large image datasets, such as the ImageNet. Herein, we use the information entropy to define the complexity of the task. We categorize the noise into two types, positive noise (PN) and harmful noise (HN), based on whether the noise can help reduce the task complexity. Extensive experiments of CNNs and ViTs have shown performance improvements by proactively injecting positive noise, where we achieved an unprecedented top 1 accuracy of 95$\%$ on ImageNet. Both theoretical analysis and empirical evidence have confirmed that the presence of positive noise, can benefit the learning process, while the traditionally perceived harmful noise indeed impairs deep learning models. The different roles of noise offer new explanations for deep models on specific tasks and provide a new paradigm for improving model performance. Moreover, it reminds us that we can influence the performance of learning systems via information entropy change.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google