Closing the Loop: Testing ChatGPT to Generate Model Explanations to Improve Human Labelling of Sponsored Content on Social Media

要約

世界中の規制当局は、欧州連合の不公正商行為指令 (UCPD) や連邦取引委員会法第 5 条などの手段を通じて、ソーシャル メディアでのインフルエンサー マーケティングの透明性を確保する取り組みを強化しています。
しかし、インフルエンサー市場の規模が非常に大きいため、これらの義務を強制することには非常に問題があることが判明しています。
スポンサー付きコンテンツを自動的に検出するタスクは、そのような規制を大規模に監視および施行できるようにすることを目的としています。
この分野の現在の研究では、主にこの問題を機械学習タスクとして捉え、広告の検出において高い分類パフォーマンスを達成するモデルの開発に焦点を当てています。
これらの機械学習タスクは、人間のデータの注釈に依存して、グラウンド トゥルース情報を提供します。
ただし、アノテーター間の一致度が低いことが多く、ラベルに一貫性がなく、モデルの信頼性が損なわれます。
注釈の精度を向上させ、スポンサー付きコンテンツの検出を向上させるために、chatGPT を使用して、関連する特徴として識別されたフレーズと簡単な説明で注釈プロセスを強化することを提案します。
私たちの実験では、このアプローチによりアノテーター間の一致とアノテーションの精度が一貫して向上することが示されています。
さらに、アノテーション タスクにおけるユーザー エクスペリエンスに関する調査では、説明によってアノテーターの信頼が向上し、プロセスが合理化されることが示されています。
私たちが提案する方法は、最終的に、スポンサー付きコンテンツの検出における透明性を高め、規制要件との整合性を高めることができます。

要約(オリジナル)

Regulatory bodies worldwide are intensifying their efforts to ensure transparency in influencer marketing on social media through instruments like the Unfair Commercial Practices Directive (UCPD) in the European Union, or Section 5 of the Federal Trade Commission Act. Yet enforcing these obligations has proven to be highly problematic due to the sheer scale of the influencer market. The task of automatically detecting sponsored content aims to enable the monitoring and enforcement of such regulations at scale. Current research in this field primarily frames this problem as a machine learning task, focusing on developing models that achieve high classification performance in detecting ads. These machine learning tasks rely on human data annotation to provide ground truth information. However, agreement between annotators is often low, leading to inconsistent labels that hinder the reliability of models. To improve annotation accuracy and, thus, the detection of sponsored content, we propose using chatGPT to augment the annotation process with phrases identified as relevant features and brief explanations. Our experiments show that this approach consistently improves inter-annotator agreement and annotation accuracy. Additionally, our survey of user experience in the annotation task indicates that the explanations improve the annotators’ confidence and streamline the process. Our proposed methods can ultimately lead to more transparency and alignment with regulatory requirements in sponsored content detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google