‘Seeing the Big through the Small’: Can LLMs Approximate Human Judgment Distributions on NLI from a Few Explanations?

要約

人間のラベルのばらつき（HLV）は、複数の人間のアノテーターが正当な理由で異なるラベルを提供した場合に生じる貴重な情報源である。自然言語推論（NLI）においてHLVを捕捉するための以前のアプローチでは、人間の判断分布（HJD）を表現するために多くのクラウドワーカーからアノテーションを収集するか、選択したラベルの詳細な説明を提供するために専門家の言語学者を使用する。前者の方法は、より密度の高いHJD情報を提供する一方で、それを得るにはリソースを必要とする。対照的に、後者はより豊富なテキスト情報を提供するが、多くの人間の判定にスケールアップするのは困難である。また、大規模言語モデル（LLM）が評価者（「LLM判定者」）として使われるようになってきているが、その結果はまちまちであり、HJDの研究を目的とした研究はほとんどない。本研究では、少数の専門家ラベルと説明を用いてHJDを近似するためにLLMを利用することを提案する。我々の実験によれば、少数の説明によって、明示的なラベルの有無にかかわらず、LLMのHJD近似能力が大幅に向上し、HJDのためのアノテーションをスケールアップするソリューションを提供する。しかしながら、LLMによって生成されたモデル判定分布（MJD）を用いて、より小さなソフトラベル認識モデルを微調整すると、部分的に矛盾した結果が得られる：距離は似ているが、微調整されたモデルと可視化された分布は大きく異なる。我々は、人間の判定分布に対してMJDをより効果的に評価するために、インスタンスレベルの距離尺度をグローバルレベルの形状メトリックと可視化で補完することの重要性を示す。

要約(オリジナル)

Human label variation (HLV) is a valuable source of information that arises when multiple human annotators provide different labels for valid reasons. In Natural Language Inference (NLI) earlier approaches to capturing HLV involve either collecting annotations from many crowd workers to represent human judgment distribution (HJD) or use expert linguists to provide detailed explanations for their chosen labels. While the former method provides denser HJD information, obtaining it is resource-intensive. In contrast, the latter offers richer textual information but it is challenging to scale up to many human judges. Besides, large language models (LLMs) are increasingly used as evaluators (‘LLM judges’) but with mixed results, and few works aim to study HJDs. This study proposes to exploit LLMs to approximate HJDs using a small number of expert labels and explanations. Our experiments show that a few explanations significantly improve LLMs’ ability to approximate HJDs with and without explicit labels, thereby providing a solution to scale up annotations for HJD. However, fine-tuning smaller soft-label aware models with the LLM-generated model judgment distributions (MJDs) presents partially inconsistent results: while similar in distance, their resulting fine-tuned models and visualized distributions differ substantially. We show the importance of complementing instance-level distance measures with a global-level shape metric and visualization to more effectively evaluate MJDs against human judgment distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL