AQuA — Combining Experts’ and Non-Experts’ Views To Assess Deliberation Quality in Online Discussions Using LLMs

要約

政治的なオンライン議論における貢献の質を測定することは、熟議研究とコンピューター サイエンスにおいて非常に重要です。
研究により、オンラインディスカッションの質を評価するためのさまざまな指標が特定されており、ディープラーニングの進歩により、これらの測定の自動化が可能になりました。
特定の品質指標の分析に焦点を当てた研究もありますが、多くの場合、さまざまな審議的側面を組み込んだ包括的な品質スコアが好まれます。
この研究では、各ディスカッション投稿の複数の指標から統一された審議品質スコアを計算する加算スコアである AQuA を導入します。
他の特異なスコアとは異なり、AQuA はコメントに存在する審議的側面に関する情報を保存し、モデルの透明性を高めます。
20 個の熟議指標のアダプター モデルを開発し、専門家の注釈と非専門家が知覚する熟慮性の間の相関係数を計算して、個々の指標を単一の熟考スコアに重み付けします。
AQuA スコアが事前トレーニングされたアダプターから簡単に計算でき、トレーニング中に表示されなかった他のデータセットのアノテーションとよく一致することを示します。
専門家による注釈と非専門家による注釈の分析により、社会科学文献の理論的発見が確認されます。

要約(オリジナル)

Measuring the quality of contributions in political online discussions is crucial in deliberation research and computer science. Research has identified various indicators to assess online discussion quality, and with deep learning advancements, automating these measures has become feasible. While some studies focus on analyzing specific quality indicators, a comprehensive quality score incorporating various deliberative aspects is often preferred. In this work, we introduce AQuA, an additive score that calculates a unified deliberative quality score from multiple indices for each discussion post. Unlike other singular scores, AQuA preserves information on the deliberative aspects present in comments, enhancing model transparency. We develop adapter models for 20 deliberative indices, and calculate correlation coefficients between experts’ annotations and the perceived deliberativeness by non-experts to weigh the individual indices into a single deliberative score. We demonstrate that the AQuA score can be computed easily from pre-trained adapters and aligns well with annotations on other datasets that have not be seen during training. The analysis of experts’ vs. non-experts’ annotations confirms theoretical findings in the social science literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google