AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators

要約

多くの自然言語処理 (NLP) タスクは、ラベル付きデータに依存して、高いパフォーマンスで機械学習モデルをトレーニングします。
ただし、データの注釈付けは、特にタスクに大量のデータが含まれる場合や特殊なドメインが必要な場合には、時間と費用がかかります。
最近、GPT-3.5 シリーズ モデルは、さまざまな NLP タスクにわたって驚異的な少数ショットおよびゼロショット能力を実証しました。
この論文では、まず GPT-3.5 などの大規模言語モデル (LLM) は、十分なガイダンスと実証例が提供されれば、優れたクラウドソース アノテーターとして機能できると主張します。
したがって、我々は、LLM を利用した注釈システムである AnnoLLM を提案します。これは、説明してから注釈を付けるという 2 段階のアプローチを採用しています。
具体的には、まず LLM に、特定の正解/ラベルが特定の例に割り当てられた理由の説明を提供するよう求めます。
次に、自己生成された説明を使用して少数ショットの思考連鎖プロンプトを構築し、それを使用してラベルのないデータに LLM で注釈を付けます。
ユーザー入力とキーワードの関連性評価、BoolQ、WiC を含む 3 つのタスクに関する実験結果は、AnnoLLM がクラウドソースのアノテーターを上回る、または同等のパフォーマンスを発揮することを示しています。
さらに、AnnoLLM を使用して初の会話ベースの情報検索データセットを構築します。
このデータセットは、会話テキストに関連するドキュメントを検索できる検索モデルの開発を容易にするように設計されています。
人間による評価により、データセットの高品質が検証されました。

要約(オリジナル)

Many natural language processing (NLP) tasks rely on labeled data to train machine learning models with high performance. However, data annotation is time-consuming and expensive, especially when the task involves a large amount of data or requires specialized domains. Recently, GPT-3.5 series models have demonstrated remarkable few-shot and zero-shot ability across various NLP tasks. In this paper, we first claim that large language models (LLMs), such as GPT-3.5, can serve as an excellent crowdsourced annotator when provided with sufficient guidance and demonstrated examples. Accordingly, we propose AnnoLLM, an annotation system powered by LLMs, which adopts a two-step approach, explain-then-annotate. Concretely, we first prompt LLMs to provide explanations for why the specific ground truth answer/label was assigned for a given example. Then, we construct the few-shot chain-of-thought prompt with the self-generated explanation and employ it to annotate the unlabeled data with LLMs. Our experiment results on three tasks, including user input and keyword relevance assessment, BoolQ, and WiC, demonstrate that AnnoLLM surpasses or performs on par with crowdsourced annotators. Furthermore, we build the first conversation-based information retrieval dataset employing AnnoLLM. This dataset is designed to facilitate the development of retrieval models capable of retrieving pertinent documents for conversational text. Human evaluation has validated the dataset’s high quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google