Human-LLM Hybrid Text Answer Aggregation for Crowd Annotations

要約

品質はクラウド アノテーションにとって重要な問題です。
回答の集約は重要なタイプのソリューションです。
同じインスタンスに対する複数の群衆の回答から推定された集約された回答は、個々の群衆の回答そのものではなく、最終的に収集されたアノテーションです。
最近、データ注釈タスクにおける大規模言語モデル (LLM) の機能が研究者の関心を集めています。
既存の研究のほとんどは、主に個々のクラウド ワーカーの平均パフォーマンスに焦点を当てています。
最近のいくつかの研究では、カテゴリラベルとラベル作成者として使用される LLM の集計シナリオを研究しました。
ただし、テキスト回答の集計シナリオと集計者としての LLM の役割はまだ十分に研究されていません。
このペーパーでは、クローズエンドのクラウド テキスト回答集約のシナリオにおけるアグリゲーターとしての LLM の機能を調査します。
Creator-Aggregator Multi-Stage (CAMS) クラウドソーシング フレームワークを使用した、人間と LLM のハイブリッド テキスト回答集約方法を提案します。
パブリッククラウドソーシングデータセットに基づいて実験を行います。
この結果は、クラウド ワーカーと LLM のコラボレーションに基づくアプローチの有効性を示しています。

要約(オリジナル)

The quality is a crucial issue for crowd annotations. Answer aggregation is an important type of solution. The aggregated answers estimated from multiple crowd answers to the same instance are the eventually collected annotations, rather than the individual crowd answers themselves. Recently, the capability of Large Language Models (LLMs) on data annotation tasks has attracted interest from researchers. Most of the existing studies mainly focus on the average performance of individual crowd workers; several recent works studied the scenarios of aggregation on categorical labels and LLMs used as label creators. However, the scenario of aggregation on text answers and the role of LLMs as aggregators are not yet well-studied. In this paper, we investigate the capability of LLMs as aggregators in the scenario of close-ended crowd text answer aggregation. We propose a human-LLM hybrid text answer aggregation method with a Creator-Aggregator Multi-Stage (CAMS) crowdsourcing framework. We make the experiments based on public crowdsourcing datasets. The results show the effectiveness of our approach based on the collaboration of crowd workers and LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google