Investigating Multi-source Active Learning for Natural Language Inference

要約

近年、アクティブ ラーニングは一連の NLP タスクにうまく適用されています。
ただし、これまでの作業では、多くの場合、トレーニング データとテスト データが同じ分布から抽出されていると想定されていました。
これには問題があります。実際の設定データは、さまざまな関連性と品質の複数のソースに由来する可能性があるためです。
自然言語推論のタスクで、複数のデータ ソースで構成されるラベルのないプールに適用した場合、4 つの一般的なアクティブ ラーニング スキームがランダム選択よりも優れていることを示します。
不確実性に基づく戦略は、集合的な外れ値、つまり、学習と一般化を妨げる学習しにくいインスタンスの獲得により、パフォーマンスが低下することを明らかにします。
外れ値が取り除かれると、戦略が回復し、ランダムなベースラインよりも優れていることがわかります。
さらに分析すると、集合的な外れ値は情報源によって形が異なり、学習しにくいデータが常に明確に有害であるとは限らないことがわかります。
最後に、データセット カートグラフィを活用して難易度層別テストを導入し、さまざまな戦略がサンプルの学習可能性と難易度によって異なる影響を受けることを発見しました。

要約(オリジナル)

In recent years, active learning has been successfully applied to an array of NLP tasks. However, prior work often assumes that training and test data are drawn from the same distribution. This is problematic, as in real-life settings data may stem from several sources of varying relevance and quality. We show that four popular active learning schemes fail to outperform random selection when applied to unlabelled pools comprised of multiple data sources on the task of natural language inference. We reveal that uncertainty-based strategies perform poorly due to the acquisition of collective outliers, i.e., hard-to-learn instances that hamper learning and generalization. When outliers are removed, strategies are found to recover and outperform random baselines. In further analysis, we find that collective outliers vary in form between sources, and show that hard-to-learn data is not always categorically harmful. Lastly, we leverage dataset cartography to introduce difficulty-stratified testing and find that different strategies are affected differently by example learnability and difficulty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google