REAL: A Representative Error-Driven Approach for Active Learning

要約

限られたラベル付け予算を考慮すると、アクティブ ラーニング (AL) は、ラベルのないプールから最も有益なインスタンスをサンプリングして、後続のモデル トレーニング用のラベルを取得することを目的としています。
これを達成するために、AL は通常、不確実性と多様性に基づいてラベルのないインスタンスの有益性を測定します。
ただし、モデルのパフォーマンスを向上させる大きな可能性がある、近傍エラー密度を持つエラーのあるインスタンスは考慮されていません。
この制限に対処するために、$\underline{A}$ctive $\underline{L} の $\underline{R}$epresentative $\underline{E}$rrors を持つデータ インスタンスを選択する新しいアプローチである $REAL$ を提案します。
ドル稼ぎ。
これは、クラスター内の少数派の予測を \emph{擬似エラー} として識別し、推定されたエラー密度に基づいてクラスターに適応的なサンプリング バジェットを割り当てます。
5 つのテキスト分類データセットに対する広範な実験により、$REAL$ は、幅広いハイパーパラメーター設定にわたって精度と F1 マクロ スコアに関して、すべての最高パフォーマンスのベースラインを常に上回っていることが実証されました。
私たちの分析は、$REAL$ が決定境界に沿ったグラウンドトゥルース誤差の分布に一致する最も代表的な擬似誤差を選択することも示しています。
私たちのコードは https://github.com/withchencheng/ECML_PKDD_23_Real で公開されています。

要約(オリジナル)

Given a limited labeling budget, active learning (AL) aims to sample the most informative instances from an unlabeled pool to acquire labels for subsequent model training. To achieve this, AL typically measures the informativeness of unlabeled instances based on uncertainty and diversity. However, it does not consider erroneous instances with their neighborhood error density, which have great potential to improve the model performance. To address this limitation, we propose $REAL$, a novel approach to select data instances with $\underline{R}$epresentative $\underline{E}$rrors for $\underline{A}$ctive $\underline{L}$earning. It identifies minority predictions as \emph{pseudo errors} within a cluster and allocates an adaptive sampling budget for the cluster based on estimated error density. Extensive experiments on five text classification datasets demonstrate that $REAL$ consistently outperforms all best-performing baselines regarding accuracy and F1-macro scores across a wide range of hyperparameter settings. Our analysis also shows that $REAL$ selects the most representative pseudo errors that match the distribution of ground-truth errors along the decision boundary. Our code is publicly available at https://github.com/withchencheng/ECML_PKDD_23_Real.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google