Training-Free Neural Active Learning with Initialization-Robustness Guarantees

要約

既存のニューラル アクティブ ラーニング アルゴリズムは、ラベル付けするデータを選択することでニューラル ネットワーク (NN) の予測パフォーマンスを最適化することを目的としていました。
ただし、安全性が重要なアプリケーションでは、優れた予測パフォーマンス以外に、ランダムなパラメーターの初期化に対して堅牢であることも重要な要件です。
この目的を達成するために、ニューラル アクティブ ラーニングにガウス過程の期待分散 (EV-GP) 基準を導入します。これは、(a) 良好な予測パフォーマンスと (b) 初期化の堅牢性の両方を備えたトレーニング済み NN につながるデータ ポイントを選択することが理論的に保証されています。
。
重要なのは、EV-GP 基準はトレーニング不要です。つまり、データ選択中に NN のトレーニングを必要としないため、計算効率が高くなります。
我々は、EV-GP 基準が初期化の堅牢性と一般化パフォーマンスの両方と高い相関があることを経験的に実証し、特に初期データが限られている場合やバッチ サイズが大きい状況では、両方の要望の点でベースライン手法よりも一貫して優れていることを示します。

要約(オリジナル)

Existing neural active learning algorithms have aimed to optimize the predictive performance of neural networks (NNs) by selecting data for labelling. However, other than a good predictive performance, being robust against random parameter initializations is also a crucial requirement in safety-critical applications. To this end, we introduce our expected variance with Gaussian processes (EV-GP) criterion for neural active learning, which is theoretically guaranteed to select data points which lead to trained NNs with both (a) good predictive performances and (b) initialization robustness. Importantly, our EV-GP criterion is training-free, i.e., it does not require any training of the NN during data selection, which makes it computationally efficient. We empirically demonstrate that our EV-GP criterion is highly correlated with both initialization robustness and generalization performance, and show that it consistently outperforms baseline methods in terms of both desiderata, especially in situations with limited initial data or large batch sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google