Active learning with biased non-response to label requests

要約

アクティブ ラーニングでは、取得する最も有益な新しいラベルを特定することで、予測モデルのトレーニングの効率を向上させることができます。
ただし、ラベル要求に応答しない場合は、実世界の状況におけるアクティブ ラーニングの有効性に影響を与える可能性があります。
データ内に存在する非応答の種類を考慮することでこの低下を概念化し、偏った非応答がモデルのパフォーマンスに特に悪影響を及ぼすことを示しています。
私たちは、この種の無応答は、ラベル付けプロセスが本質的にユーザーの対話に依存している状況で特に起こりやすいと主張します。
偏った無応答の影響を軽減するために、サンプリング戦略に対するコストベースの修正、つまり期待効用の上限信頼限界 (UCB-EU) を提案します。これは、おそらくあらゆる能動学習アルゴリズムに適用できます。
。
実験を通じて、私たちの方法が多くの設定で無反応のラベル付けによる害を軽減することに成功したことを実証します。
ただし、特定のサンプリング方法およびデータ生成プロセスに関して、UCB-EU の下でアノテーションの非応答バイアスが依然として有害である設定も特徴付けます。
最後に、電子商取引プラットフォーム Taobao の実世界のデータセットでメソッドを評価します。
UCB-EU により、クリックされたインプレッションに基づいてトレーニングされたコンバージョン モデルのパフォーマンスが大幅に向上することがわかりました。
最も一般的には、この研究は、非応答のタイプとアクティブ ラーニングによるモデルの改善の間の相互作用をより適切に概念化することと、モデルの劣化を軽減するのに役立つ実用的で実装が簡単な修正を提供することの両方に役立ちます。

要約(オリジナル)

Active learning can improve the efficiency of training prediction models by identifying the most informative new labels to acquire. However, non-response to label requests can impact active learning’s effectiveness in real-world contexts. We conceptualise this degradation by considering the type of non-response present in the data, demonstrating that biased non-response is particularly detrimental to model performance. We argue that this sort of non-response is particularly likely in contexts where the labelling process, by nature, relies on user interactions. To mitigate the impact of biased non-response, we propose a cost-based correction to the sampling strategy–the Upper Confidence Bound of the Expected Utility (UCB-EU)–that can, plausibly, be applied to any active learning algorithm. Through experiments, we demonstrate that our method successfully reduces the harm from labelling non-response in many settings. However, we also characterise settings where the non-response bias in the annotations remains detrimental under UCB-EU for particular sampling methods and data generating processes. Finally, we evaluate our method on a real-world dataset from e-commerce platform Taobao. We show that UCB-EU yields substantial performance improvements to conversion models that are trained on clicked impressions. Most generally, this research serves to both better conceptualise the interplay between types of non-response and model improvements via active learning, and to provide a practical, easy to implement correction that helps mitigate model degradation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google