Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning

要約

Active Learning（AL）により、モデルはユーザーフィードバックからインタラクティブに学習できます。
このペーパーでは、ALへの反事実的なデータ増強アプローチを紹介します。特に、データ効率を高める上での極めて重要な懸念であるユーザークエリのデータポイントの選択に対処します。
私たちのアプローチは、バリエーション理論、人間の概念学習の理論であり、何が同じままで変化するかに焦点を当てることによって概念の本質的な特徴を強調する理論です。
既存のデータポイントでクエリするだけでなく、私たちのアプローチは、大規模な言語モデル（LLMS）とルールベースのモデルを組み合わせたニューロシンボリックパイプラインを使用して、ラベル間の潜在的な重要な類似性と相違点を強調する人工データポイントを統合します。
テキスト分類の例の例での実験を通じて、注釈付きデータが少ない場合、アプローチが大幅に高いパフォーマンスを達成することを示します。
注釈付きトレーニングデータが大きくなると、生成されたデータの影響が減少し始め、ALのコールドスタート問題に対処する能力が示されます。
この研究は、人間の学習の理論をAlの最適化に統合することに光を当てています。

要約(オリジナル)

Active Learning (AL) allows models to learn interactively from user feedback. This paper introduces a counterfactual data augmentation approach to AL, particularly addressing the selection of datapoints for user querying, a pivotal concern in enhancing data efficiency. Our approach is inspired by Variation Theory, a theory of human concept learning that emphasizes the essential features of a concept by focusing on what stays the same and what changes. Instead of just querying with existing datapoints, our approach synthesizes artificial datapoints that highlight potential key similarities and differences among labels using a neuro-symbolic pipeline combining large language models (LLMs) and rule-based models. Through an experiment in the example domain of text classification, we show that our approach achieves significantly higher performance when there are fewer annotated data. As the annotated training data gets larger the impact of the generated data starts to diminish showing its capability to address the cold start problem in AL. This research sheds light on integrating theories of human learning into the optimization of AL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google