An Empirical Analysis of Diversity in Argument Summarization

要約

高度な議論を提示することは、オンライン社会的議論への参加を促進する上で極めて重要な課題である。現在の議論要約のアプローチは、このタスクの重要な側面である多様性の捕捉を見逃している。我々は多様性の3つの側面、すなわち意見、注釈者、情報源を紹介する。我々はKey Point Analysisと呼ばれる一般的な論旨要約タスクに対するアプローチを評価し、これらのアプローチが(1)少数の人々によって共有される論旨を表現すること、(2)様々なソースからのデータを扱うこと、(3)人間が提供する注釈の主観性に合わせることにいかに苦労しているかを示す。我々は、汎用のLLMと専用のKPAモデルの両方がこのような挙動を示すが、補完的な強みを持つことを発見した。さらに、学習データの多様化が汎化を改善する可能性があることも確認した。議論の要約における多様性に対処するには、主観性に対処するための戦略を組み合わせる必要がある。

要約(オリジナル)

Presenting high-level arguments is a crucial task for fostering participation in online societal discussions. Current argument summarization approaches miss an important facet of this task — capturing diversity — which is important for accommodating multiple perspectives. We introduce three aspects of diversity: those of opinions, annotators, and sources. We evaluate approaches to a popular argument summarization task called Key Point Analysis, which shows how these approaches struggle to (1) represent arguments shared by few people, (2) deal with data from various sources, and (3) align with subjectivity in human-provided annotations. We find that both general-purpose LLMs and dedicated KPA models exhibit this behavior, but have complementary strengths. Further, we observe that diversification of training data may ameliorate generalization. Addressing diversity in argument summarization requires a mix of strategies to deal with subjectivity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL