An Empirical Analysis of Diversity in Argument Summarization

要約

高レベルの議論を提示することは、オンラインの社会的議論への参加を促進するために重要なタスクです。
現在の議論の要約アプローチは、複数の視点に対応するために重要である、このタスクの重要な側面、つまり多様性を捉えることを見逃しています。
多様性の 3 つの側面、すなわち意見、注釈者、情報源の側面を紹介します。
私たちは、キーポイント分析と呼ばれる一般的な議論の要約タスクに対するアプローチを評価します。これは、これらのアプローチが、(1) 少数の人が共有する議論を表現すること、(2) さまざまなソースからのデータを扱うこと、(3) 人間の主観と一致させることにおいてどのように困難であるかを示します。
-注釈を提供しました。
汎用 LLM と専用 KPA モデルの両方がこの動作を示しますが、補完的な長所があることがわかりました。
さらに、トレーニング データの多様化により一般化が改善される可能性があることが観察されています。
議論の要約における多様性に対処するには、主観性に対処するための戦略を組み合わせる必要があります。

要約(オリジナル)

Presenting high-level arguments is a crucial task for fostering participation in online societal discussions. Current argument summarization approaches miss an important facet of this task — capturing diversity — which is important for accommodating multiple perspectives. We introduce three aspects of diversity: those of opinions, annotators, and sources. We evaluate approaches to a popular argument summarization task called Key Point Analysis, which shows how these approaches struggle to (1) represent arguments shared by few people, (2) deal with data from various sources, and (3) align with subjectivity in human-provided annotations. We find that both general-purpose LLMs and dedicated KPA models exhibit this behavior, but have complementary strengths. Further, we observe that diversification of training data may ameliorate generalization. Addressing diversity in argument summarization requires a mix of strategies to deal with subjectivity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google