‘Seeing the Big through the Small’: Can LLMs Approximate Human Judgment Distributions on NLI from a Few Explanations?

要約

ヒューマン ラベル バリエーション (HLV) は、複数のヒューマン アノテーターが正当な理由で異なるラベルを提供した場合に発生する貴重な情報源です。
自然言語推論 (NLI) では、HLV をキャプチャするための初期のアプローチには、人間による判断分布 (HJD) を表すために多くのクラウド ワーカーから注釈を収集するか、専門の言語学者を使用して選択したラベルの詳細な説明を提供することが含まれていました。
前者の方法ではより高密度の HJD 情報が提供されますが、その情報を取得するにはリソースが大量に消費されます。
対照的に、後者はより豊富なテキスト情報を提供しますが、多くの人間の裁判官に対応するのは困難です。
さらに、大規模言語モデル (LLM) が評価者 (「LLM 審査員」) として使用されることが増えていますが、その結果はまちまちであり、HJD の研究を目的とした作品はほとんどありません。
この研究では、LLM を利用して、少数の専門家のラベルと説明を使用して HJD を近似することを提案しています。
私たちの実験では、いくつかの説明により、明示的なラベルの有無にかかわらず HJD を近似する LLM の能力が大幅に向上し、それによって HJD のアノテーションをスケールアップするソリューションが提供されることが示されました。
ただし、LLM で生成されたモデル判定分布 (MJD) を使用して、より小さなソフトラベル対応モデルを微調整すると、部分的に一貫性のない結果が表示されます。つまり、距離は似ていますが、結果として得られる微調整モデルと視覚化された分布は大幅に異なります。
人間の判断分布に対して MJD をより効果的に評価するには、インスタンス レベルの距離測定をグローバル レベルの形状メトリクスと視覚化で補完することの重要性を示します。

要約(オリジナル)

Human label variation (HLV) is a valuable source of information that arises when multiple human annotators provide different labels for valid reasons. In Natural Language Inference (NLI) earlier approaches to capturing HLV involve either collecting annotations from many crowd workers to represent human judgment distribution (HJD) or use expert linguists to provide detailed explanations for their chosen labels. While the former method provides denser HJD information, obtaining it is resource-intensive. In contrast, the latter offers richer textual information but it is challenging to scale up to many human judges. Besides, large language models (LLMs) are increasingly used as evaluators (“LLM judges”) but with mixed results, and few works aim to study HJDs. This study proposes to exploit LLMs to approximate HJDs using a small number of expert labels and explanations. Our experiments show that a few explanations significantly improve LLMs’ ability to approximate HJDs with and without explicit labels, thereby providing a solution to scale up annotations for HJD. However, fine-tuning smaller soft-label aware models with the LLM-generated model judgment distributions (MJDs) presents partially inconsistent results: while similar in distance, their resulting fine-tuned models and visualized distributions differ substantially. We show the importance of complementing instance-level distance measures with a global-level shape metric and visualization to more effectively evaluate MJDs against human judgment distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google