AQuA – Combining Experts’ and Non-Experts’ Views To Assess Deliberation Quality in Online Discussions Using LLMs

要約

政治的なオンラインディスカッションにおける投稿の質を測定することは、熟議研究やコンピュータサイエンスにおいて極めて重要である。研究では、オンラインディスカッションの質を評価するための様々な指標が特定されており、ディープラーニングの進歩により、これらの指標を自動化することが可能になってきている。特定の品質指標の分析に焦点を当てた研究もあるが、様々な熟議的側面を組み込んだ包括的な品質スコアが好まれることが多い。本研究では、各議論投稿について複数の指標から統一的な熟議品質スコアを計算する加算スコアであるAQuAを紹介する。他の単一スコアとは異なり、AQuAはコメントに存在する熟議的側面に関する情報を保持し、モデルの透明性を高める。20の熟議指標に対するアダプターモデルを開発し、専門家の注釈と非専門家が感じる熟議性の相関係数を計算して、個々の指標を単一の熟議スコアに重み付けする。AQuAスコアは事前に訓練されたアダプターから簡単に計算でき、訓練中に見られなかった他のデータセットのアノテーションとよく整合することを実証する。専門家の注釈と非専門家の注釈の分析により、社会科学の文献における理論的知見が確認された。

要約(オリジナル)

Measuring the quality of contributions in political online discussions is crucial in deliberation research and computer science. Research has identified various indicators to assess online discussion quality, and with deep learning advancements, automating these measures has become feasible. While some studies focus on analyzing specific quality indicators, a comprehensive quality score incorporating various deliberative aspects is often preferred. In this work, we introduce AQuA, an additive score that calculates a unified deliberative quality score from multiple indices for each discussion post. Unlike other singular scores, AQuA preserves information on the deliberative aspects present in comments, enhancing model transparency. We develop adapter models for 20 deliberative indices, and calculate correlation coefficients between experts’ annotations and the perceived deliberativeness by non-experts to weigh the individual indices into a single deliberative score. We demonstrate that the AQuA score can be computed easily from pre-trained adapters and aligns well with annotations on other datasets that have not be seen during training. The analysis of experts’ vs. non-experts’ annotations confirms theoretical findings in the social science literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL