On Dataset Transferability in Active Learning for Transformers

要約

アクティブ ラーニング (AL) は、モデル学習に最も有益な例をクエリすることで、ラベル付けコストを削減することを目的としています。
トランスフォーマーベースの事前トレーニング済み言語モデル (PLM) を微調整するための AL の有効性は実証されていますが、あるモデルで得られた AL の向上がどの程度他のモデルに移行するのかはあまり明らかではありません。
テキスト分類においてアクティブに取得されたデータセットの転送可能性の問題を検討し、特定の PLM と組み合わせた AL を使用して構築されたデータセットを別の PLM のトレーニングに使用したときに AL ゲインが持続するかどうかを調査します。
AL データセットの転送可能性を、さまざまな PLM によってクエリされたインスタンスの類似性に関連付け、同様の取得シーケンスを持つ AL メソッドが、使用されるモデルに関係なく、転送可能性の高いデータセットを生成することを示します。
さらに、取得シーケンスの類似性は、モデルの選択よりも AL 法の選択により大きく影響されることを示します。

要約(オリジナル)

Active learning (AL) aims to reduce labeling costs by querying the examples most beneficial for model learning. While the effectiveness of AL for fine-tuning transformer-based pre-trained language models (PLMs) has been demonstrated, it is less clear to what extent the AL gains obtained with one model transfer to others. We consider the problem of transferability of actively acquired datasets in text classification and investigate whether AL gains persist when a dataset built using AL coupled with a specific PLM is used to train a different PLM. We link the AL dataset transferability to the similarity of instances queried by the different PLMs and show that AL methods with similar acquisition sequences produce highly transferable datasets regardless of the models used. Additionally, we show that the similarity of acquisition sequences is influenced more by the choice of the AL method than the choice of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google