D-CALM: A Dynamic Clustering-based Active Learning Approach for Mitigating Bias

要約

最近の進歩にもかかわらず、NLP モデルは依然としてバイアスに対して脆弱です。
この偏りは多くの場合、実世界のデータの不均一な分布に起因し、アノテーション プロセスを通じて伝播する可能性があります。
これらのモデルを私たちの生活に統合していくためには、アノテーションのコストを負担することなくバイアスを軽減する方法が必要になります。
アクティブ ラーニング (AL) は、少量の注釈付きデータを使用したモデルのトレーニングに有望であることが示されていますが、AL は選択的サンプリングのためのモデルの動作に依存しているため、バイアスの軽減ではなく、望ましくないバイアスの蓄積につながる可能性があります。
ただし、クラスタリングに AL を導入すると、AL のアノテーション効率を活用しながら、AL と従来のアノテーション方法の両方のバイアスの問題を克服できます。
この論文では、推定された分類子の誤り率に応じてクラスタリングとアノテーションの取り組みを動的に調整する、新しい適応クラスタリングベースの能動学習アルゴリズム D-CALM を提案します。
感情、ヘイトスピーチ、対話行為、書籍の種類の検出など、さまざまなテキスト分類タスクの 8 つのデータセットでの実験では、提案されたアルゴリズムが、事前学習済みトランスフォーマーと従来のサポート ベクター マシンの両方を使用したベースライン AL アプローチを大幅に上回ることが実証されました。
D-CALM は、情報利得のさまざまな尺度に対する堅牢性を示しており、ラベルとエラーの分布の分析から明らかなように、望ましくないモデルのバイアスを大幅に削減できます。

要約(オリジナル)

Despite recent advancements, NLP models continue to be vulnerable to bias. This bias often originates from the uneven distribution of real-world data and can propagate through the annotation process. Escalated integration of these models in our lives calls for methods to mitigate bias without overbearing annotation costs. While active learning (AL) has shown promise in training models with a small amount of annotated data, AL’s reliance on the model’s behavior for selective sampling can lead to an accumulation of unwanted bias rather than bias mitigation. However, infusing clustering with AL can overcome the bias issue of both AL and traditional annotation methods while exploiting AL’s annotation efficiency. In this paper, we propose a novel adaptive clustering-based active learning algorithm, D-CALM, that dynamically adjusts clustering and annotation efforts in response to an estimated classifier error-rate. Experiments on eight datasets for a diverse set of text classification tasks, including emotion, hatespeech, dialog act, and book type detection, demonstrate that our proposed algorithm significantly outperforms baseline AL approaches with both pretrained transformers and traditional Support Vector Machines. D-CALM showcases robustness against different measures of information gain and, as evident from our analysis of label and error distribution, can significantly reduce unwanted model bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google