Forgetful Active Learning with Switch Events: Efficient Sampling for Out-of-Distribution Data

要約

この論文では、ディープ アウト オブ ディストリビューション アクティブ ラーニングについて考察します。
実際には、完全にトレーニングされたニューラル ネットワークは、分布外 (OOD) 入力とランダムに相互作用し、モデル表現空間内で異常なサンプルをランダムにマッピングします。
データ表現はトレーニング分布の直接的な表現であるため、データ選択プロセスは外れ値の堅牢性において重要な役割を果たします。
アクティブ ラーニングなどのパラダイムの場合、プロトコルはトレーニング ディストリビューションのパフォーマンスを最も効果的に向上させるだけでなく、堅牢な表現空間をさらにレンダリングする必要があるため、これは特に困難です。
ただし、既存の戦略は、定義により OOD サンプルに対してランダムなラベルのないデータのデータ表現に基づいてデータを選択します。
この目的のために、スイッチ イベント (FALSE) を使用した忘却アクティブ ラーニングを導入します。これは、分散外アクティブ ラーニングのための新しいアクティブ ラーニング プロトコルです。
データ表現でサンプルの重要性を直接定義する代わりに、トレーニング中に学習困難を伴う「有益性」を定式化します。
具体的には、ネットワークがラベル付けされていないサンプルを「忘れる」頻度を概算し、注釈のために最も「忘れられた」サンプルをクエリします。
4 つの一般的に使用されるプロトコル、2 つの OOD ベンチマーク、1 つの配布内ベンチマーク、および 3 つの異なるアーキテクチャを含む 270 を超える実験で、最大 4.5\% の精度向上が報告されています。

要約(オリジナル)

This paper considers deep out-of-distribution active learning. In practice, fully trained neural networks interact randomly with out-of-distribution (OOD) inputs and map aberrant samples randomly within the model representation space. Since data representations are direct manifestations of the training distribution, the data selection process plays a crucial role in outlier robustness. For paradigms such as active learning, this is especially challenging since protocols must not only improve performance on the training distribution most effectively but further render a robust representation space. However, existing strategies directly base the data selection on the data representation of the unlabeled data which is random for OOD samples by definition. For this purpose, we introduce forgetful active learning with switch events (FALSE) – a novel active learning protocol for out-of-distribution active learning. Instead of defining sample importance on the data representation directly, we formulate ‘informativeness’ with learning difficulty during training. Specifically, we approximate how often the network ‘forgets’ unlabeled samples and query the most ‘forgotten’ samples for annotation. We report up to 4.5\% accuracy improvements in over 270 experiments, including four commonly used protocols, two OOD benchmarks, one in-distribution benchmark, and three different architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google