ASPEST: Bridging the Gap Between Active Learning and Selective Prediction

要約

選択的予測は、不確実な場合には予測を行わない信頼性の高いモデルを学習することを目的としている。これらの予測は、さらなる評価のために人間に委ねることができる。機械学習の永遠の課題として、多くの実世界のシナリオでは、テストデータの分布は訓練データと異なる。その結果、予測はより不正確になり、しばしば人間への依存度が高まる。能動学習は、最も情報量の多い例に問い合わせることで、全体的なラベリング作業、ひいては人間への依存度を下げることを目的としている。選択的予測と能動学習は異なる角度からアプローチされており、両者の関連は不明である。本研究では、新しい学習パラダイムである能動的選択的予測を導入し、精度とカバレッジを向上させながら、シフトしたターゲットドメインから、より情報量の多いサンプルを問い合わせることを目指す。この新しいパラダイムのために、我々はシンプルかつ効果的なアプローチであるASPESTを提案する。ASPESTは、モデルのスナップショットのアンサンブルを利用し、それらの集約された出力を擬似ラベルとして自己学習させる。ドメインシフトに悩まされる多数の画像、テキスト、構造化データセットに対する広範な実験により、ASPESTが選択的予測や能動学習に関する先行研究を大幅に凌駕し（例えば、ラベリングバジェットが100のMNIST$to$SVHNベンチマークにおいて、ASPESTはAUACCメトリックを79.36%から88.84%に向上させる）、ループ内で人間をより最適に利用できることを実証する。

要約(オリジナル)

Selective prediction aims to learn a reliable model that abstains from making predictions when uncertain. These predictions can then be deferred to humans for further evaluation. As an everlasting challenge for machine learning, in many real-world scenarios, the distribution of test data is different from the training data. This results in more inaccurate predictions, and often increased dependence on humans, which can be difficult and expensive. Active learning aims to lower the overall labeling effort, and hence human dependence, by querying the most informative examples. Selective prediction and active learning have been approached from different angles, with the connection between them missing. In this work, we introduce a new learning paradigm, active selective prediction, which aims to query more informative samples from the shifted target domain while increasing accuracy and coverage. For this new paradigm, we propose a simple yet effective approach, ASPEST, that utilizes ensembles of model snapshots with self-training with their aggregated outputs as pseudo labels. Extensive experiments on numerous image, text and structured datasets, which suffer from domain shifts, demonstrate that ASPEST can significantly outperform prior work on selective prediction and active learning (e.g. on the MNIST$\to$SVHN benchmark with the labeling budget of 100, ASPEST improves the AUACC metric from 79.36% to 88.84%) and achieves more optimal utilization of humans in the loop.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL