Variational Positive-incentive Noise: How Noise Benefits Models

要約

騒音の悪影響についての従来の前提が根底にあるため、多くの研究が騒音の影響を軽減することを目的としています。
しかし、既存の研究の中には、この仮定が常に成り立つわけではないことを示しているものもあります。
この論文では、ポジティブインセンティブ ノイズ (Pi-Noise) のフレームワークの下でランダム ノイズによって古典モデルに利益をもたらす方法を調査します。
Pi-Noise の理想的な目的は手に負えないため、代わりにその変分限界、つまり変分 Pi-Noise (VPN) を最適化することを提案します。
変分推論により、ニューラル ネットワークによって実装された VPN ジェネレーターは、ベース モデルのアーキテクチャを変更することなく、ベース モデルを強化し、ベース モデルの推論を簡素化するように設計されています。
基本モデルと VPN ジェネレーターの独立した設計の利点を活用して、VPN ジェネレーターはほとんどの既存のモデルと連携できます。
実験から、提案された VPN ジェネレーターが基本モデルを改善できることが示されました。
トレーニングされた変分 VPN ジェネレーターが複雑な画像内の無関係な成分をぼかすことを好むのは魅力的であり、これは私たちの期待に応えます。

要約(オリジナル)

A large number of works aim to alleviate the impact of noise due to an underlying conventional assumption of the negative role of noise. However, some existing works show that the assumption does not always hold. In this paper, we investigate how to benefit the classical models by random noise under the framework of Positive-incentive Noise (Pi-Noise). Since the ideal objective of Pi-Noise is intractable, we propose to optimize its variational bound instead, namely variational Pi-Noise (VPN). With the variational inference, a VPN generator implemented by neural networks is designed for enhancing base models and simplifying the inference of base models, without changing the architecture of base models. Benefiting from the independent design of base models and VPN generators, the VPN generator can work with most existing models. From the experiments, it is shown that the proposed VPN generator can improve the base models. It is appealing that the trained variational VPN generator prefers to blur the irrelevant ingredients in complicated images, which meets our expectations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google