ALVIN: Active Learning Via INterpolation

要約

アクティブ ラーニングは、ラベルのないデータのプールから最も有用なインスタンスを選択することで、アノテーションの労力を最小限に抑えることを目的としています。
しかし、典型的な能動学習手法では、クラス内の個別の例グループの存在が見落とされており、その普及率はさまざまであり、たとえば、職業分類データセットでは、特定の人口統計が特定のクラスに不均衡に表されています。
この見落としにより、モデルは予測の近道、つまり、適切に表現されたグループ内で発生する入力属性とラベル間の偽の相関に依存することになります。
この問題に対処するために、ALVIN (Active Learning Via INterpolation) を提案します。ALVIN は、過小表現されたグループと十分に表現されたグループのサンプル間でクラス内補間を実行し、アンカー、つまり表現空間内のサンプル グループ間に位置する人工的な点を作成します。
ALVIN は、注釈のアンカーに近いインスタンスを選択することで、ショートカットの影響を打ち消す表現空間の領域にモデルを公開する有益な例を特定します。
重要なのは、モデルではこれらの例は確実性が高いとみなされるため、一般的なアクティブ ラーニング手法では無視される可能性が高くなります。
感情分析、自然言語推論、言い換え検出を含む 6 つのデータセットに関する実験結果は、ALVIN が分布内および分布外の汎化の両方で最先端のアクティブ ラーニング手法を上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Active Learning aims to minimize annotation effort by selecting the most useful instances from a pool of unlabeled data. However, typical active learning methods overlook the presence of distinct example groups within a class, whose prevalence may vary, e.g., in occupation classification datasets certain demographics are disproportionately represented in specific classes. This oversight causes models to rely on shortcuts for predictions, i.e., spurious correlations between input attributes and labels occurring in well-represented groups. To address this issue, we propose Active Learning Via INterpolation (ALVIN), which conducts intra-class interpolations between examples from under-represented and well-represented groups to create anchors, i.e., artificial points situated between the example groups in the representation space. By selecting instances close to the anchors for annotation, ALVIN identifies informative examples exposing the model to regions of the representation space that counteract the influence of shortcuts. Crucially, since the model considers these examples to be of high certainty, they are likely to be ignored by typical active learning methods. Experimental results on six datasets encompassing sentiment analysis, natural language inference, and paraphrase detection demonstrate that ALVIN outperforms state-of-the-art active learning methods in both in-distribution and out-of-distribution generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google