Exploring the Influence of Information Entropy Change in Learning Systems

要約

この研究では、入力/潜在特徴にノイズを追加することにより、深層学習システムにおけるエントロピー変化の影響を調査します。
この論文のアプリケーションは、コンピューター ビジョン内の深層学習タスクに焦点を当てていますが、提案された理論はさらに他の分野にも適用できます。
ノイズは従来、畳み込みニューラル ネットワーク (CNN) やビジョン トランスフォーマー (ViT) などのさまざまな深層学習アーキテクチャや、画像分類や転移学習などのさまざまな学習タスクにおいて有害な摂動とみなされてきました。
しかし、この論文は、従来の命題が常に成り立つかどうかを再考することを目的としています。
私たちは、特定の条件下で、特定のノイズがさまざまなディープ アーキテクチャのパフォーマンスを向上させることができることを実証します。
私たちは、情報エントロピーによって定義されるタスクの複雑さを軽減することによってポジティブ ノイズから得られる強化を理論的に証明し、ImageNet などの大規模な画像データセットでの大幅なパフォーマンスの向上を実験的に示します。
ここでは、情報エントロピーを使用してタスクの複雑さを定義します。
ノイズがタスクの複雑さを軽減できるかどうかに基づいて、ノイズを正のノイズ (PN) と有害なノイズ (HN) の 2 つのタイプに分類します。
CNN と ViT の広範な実験では、ポジティブ ノイズを積極的に注入することでパフォーマンスが向上することが示されており、ImageNet で 95% 以上という前例のないトップ 1 の精度を達成しました。
理論的分析と経験的証拠の両方により、正のノイズの存在は学習プロセスに利益をもたらす可能性がある一方、従来認識されていた有害なノイズは実際に深層学習モデルに悪影響を与えることが確認されています。
ノイズのさまざまな役割は、特定のタスクに関するディープ モデルに新しい説明を提供し、モデルのパフォーマンスを向上させるための新しいパラダイムを提供します。
さらに、情報エントロピーの変化を通じて学習システムのパフォーマンスに影響を与えることができることを思い出させます。

要約(オリジナル)

In this work, we explore the influence of entropy change in deep learning systems by adding noise to the inputs/latent features. The applications in this paper focus on deep learning tasks within computer vision, but the proposed theory can be further applied to other fields. Noise is conventionally viewed as a harmful perturbation in various deep learning architectures, such as convolutional neural networks (CNNs) and vision transformers (ViTs), as well as different learning tasks like image classification and transfer learning. However, this paper aims to rethink whether the conventional proposition always holds. We demonstrate that specific noise can boost the performance of various deep architectures under certain conditions. We theoretically prove the enhancement gained from positive noise by reducing the task complexity defined by information entropy and experimentally show the significant performance gain in large image datasets, such as the ImageNet. Herein, we use the information entropy to define the complexity of the task. We categorize the noise into two types, positive noise (PN) and harmful noise (HN), based on whether the noise can help reduce the complexity of the task. Extensive experiments of CNNs and ViTs have shown performance improvements by proactively injecting positive noise, where we achieved an unprecedented top 1 accuracy of over 95% on ImageNet. Both theoretical analysis and empirical evidence have confirmed that the presence of positive noise can benefit the learning process, while the traditionally perceived harmful noise indeed impairs deep learning models. The different roles of noise offer new explanations for deep models on specific tasks and provide a new paradigm for improving model performance. Moreover, it reminds us that we can influence the performance of learning systems via information entropy change.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google