Deep Active Learning with Noise Stability

要約

ラベルのないデータの不確実性の推定は、アクティブ ラーニングにとって重要です。
バックボーン モデルとしてディープ ニューラル ネットワークが採用されている場合、モデル推論が過信される可能性があるため、データ選択プロセスは非常に困難です。
既存の方法は、この課題に対処するために特別な学習方法 (敵対的など) または補助モデルに頼っています。
これにより、パイプラインが複雑で非効率になる傾向があり、メソッドが実用的ではなくなります。
この研究では、ノイズの安定性を利用してデータの不確実性を推定する新しいアルゴリズムを提案します。
重要なアイデアは、モデル パラメーターがノイズによってランダムに摂動された場合に、元の観測値からの出力の導出を測定することです。
小さなガウス ノイズ理論を利用して理論的な分析を提供し、私たちの方法が大きくて多様な勾配を持つサブセットに有利であることを示します。
私たちの手法は一般に、コンピューター ビジョン、自然言語処理、構造データ分析などのさまざまなタスクに適用できます。
最先端のアクティブ ラーニング ベースラインと比較して、優れたパフォーマンスを実現します。

要約(オリジナル)

Uncertainty estimation for unlabeled data is crucial to active learning. With a deep neural network employed as the backbone model, the data selection process is highly challenging due to the potential over-confidence of the model inference. Existing methods resort to special learning fashions (e.g. adversarial) or auxiliary models to address this challenge. This tends to result in complex and inefficient pipelines, which would render the methods impractical. In this work, we propose a novel algorithm that leverages noise stability to estimate data uncertainty. The key idea is to measure the output derivation from the original observation when the model parameters are randomly perturbed by noise. We provide theoretical analyses by leveraging the small Gaussian noise theory and demonstrate that our method favors a subset with large and diverse gradients. Our method is generally applicable in various tasks, including computer vision, natural language processing, and structural data analysis. It achieves competitive performance compared against state-of-the-art active learning baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google