Human Still Wins over LLM: An Empirical Study of Active Learning on Domain-Specific Annotation Tasks

要約

大規模言語モデル (LLM) はかなりの進歩を示しており、人間を超えたパフォーマンスについていくつかの主張がなされています。
ただし、実際のタスクでは、ドメインの知識が必要になることがよくあります。
アクティブ ラーニング (AL) のような低リソース学習手法は、ドメイン エキスパート アノテーションのコストに対処するために提案されており、次の疑問が生じています。LLM は、ドメイン固有のタスクにおいてエキスパート アノテーションでトレーニングされたコンパクト モデルを超えることができるでしょうか?
この研究では、3 つの異なるドメインからの 4 つのデータセットに対して実証実験を実施し、SOTA LLM と AL によるエキスパート アノテーションでトレーニングされた小規模モデルを比較します。
小規模モデルは数百のラベル付きデータで GPT-3.5 よりも優れたパフォーマンスを発揮でき、GPT-4 では数百分の 1 小さいにもかかわらず、それ以上のパフォーマンスまたは同等のパフォーマンスを達成できることがわかりました。
これらの発見に基づいて、LLM 予測は現実世界のアプリケーションのウォームアップ方法として使用でき、ドメイン固有の知識に基づくデータ アノテーションを伴うタスクでは人間の専門家が引き続き不可欠であると考えられます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated considerable advances, and several claims have been made about their exceeding human performance. However, in real-world tasks, domain knowledge is often required. Low-resource learning methods like Active Learning (AL) have been proposed to tackle the cost of domain expert annotation, raising this question: Can LLMs surpass compact models trained with expert annotations in domain-specific tasks? In this work, we conduct an empirical experiment on four datasets from three different domains comparing SOTA LLMs with small models trained on expert annotations with AL. We found that small models can outperform GPT-3.5 with a few hundreds of labeled data, and they achieve higher or similar performance with GPT-4 despite that they are hundreds time smaller. Based on these findings, we posit that LLM predictions can be used as a warmup method in real-world applications and human experts remain indispensable in tasks involving data annotation driven by domain-specific knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google