Ensemble of Large Language Models for Curated Labeling and Rating of Free-text Data

要約

フリーテキストの応答は、一般的に心理学的研究で収集され、定量的対策がキャプチャしない可能性のある豊富な定性的洞察を提供します。
複数の訓練された人間のコーダーによるフリーテキストデータに対する研究関心のキュレーションのトピックにラベルを付けているのは、通常、労働集約的で時間がかかります。
大規模な言語モデル（LLM）は言語処理に優れていますが、外部使用に明示的な同意なしに、閉鎖ソースLLMに依存するLLM支援ラベリング技術をフリーテキストデータに直接適用することはできません。
この研究では、プライバシー制約の下でフリーテキストデータの所定のトピックのラベル付けを強化するために、ローカルに展開可能なLLMを組み立てるフレームワークを提案します。
複数の人間の評価者による注釈に類似したこのフレームワークは、多様なオープンソースLLMの不均一性を活用しています。
アンサンブルアプローチは、トピックの説明とLLMSの推論の間の埋め込み距離を利用する関連性のスコアリング方法論に導かれた、LLM全体の合意と意見の不一致のバランスを求めています。
摂食障害関連フォーラムからの公開されたRedditデータと、摂食障害患者からのフリーテキスト応答の両方を使用して、人間の注釈によって補完されたアンサンブルアプローチを評価しました。
（1）同じサイズのLLM間でのラベル付けの性能に不均一性があり、いくつかは低感度であるが高精度を示し、他の人は高感度であるが低い精度を示します。
（2）個々のLLMと比較して、LLMSのアンサンブルは、人間の注釈の予測において最高の精度と最適な精度感度のトレードオフを達成しました。
（3）LLMの関連スコアは、二分法ラベルよりも大きな一致を示し、関連性のスコアリング方法がLLMSのラベルの不均一性を効果的に軽減することを示しています。

要約(オリジナル)

Free-text responses are commonly collected in psychological studies, providing rich qualitative insights that quantitative measures may not capture. Labeling curated topics of research interest in free-text data by multiple trained human coders is typically labor-intensive and time-consuming. Though large language models (LLMs) excel in language processing, LLM-assisted labeling techniques relying on closed-source LLMs cannot be directly applied to free-text data, without explicit consent for external use. In this study, we propose a framework of assembling locally-deployable LLMs to enhance the labeling of predetermined topics in free-text data under privacy constraints. Analogous to annotation by multiple human raters, this framework leverages the heterogeneity of diverse open-source LLMs. The ensemble approach seeks a balance between the agreement and disagreement across LLMs, guided by a relevancy scoring methodology that utilizes embedding distances between topic descriptions and LLMs’ reasoning. We evaluated the ensemble approach using both publicly accessible Reddit data from eating disorder related forums, and free-text responses from eating disorder patients, both complemented by human annotations. We found that: (1) there is heterogeneity in the performance of labeling among same-sized LLMs, with some showing low sensitivity but high precision, while others exhibit high sensitivity but low precision. (2) Compared to individual LLMs, the ensemble of LLMs achieved the highest accuracy and optimal precision-sensitivity trade-off in predicting human annotations. (3) The relevancy scores across LLMs showed greater agreement than dichotomous labels, indicating that the relevancy scoring method effectively mitigates the heterogeneity in LLMs’ labeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google