Examining Bias in Opinion Summarisation Through the Perspective of Opinion Diversity

要約

意見の要約は、核となるメッセージと意見を保持しながら、ソース文書に示されている情報を要約することを目的としたタスクです。
多数派の意見のみを表す要約では、少数派の意見が要約に反映されないままになります。
本稿では、ある対象に対するスタンスを意見として取り上げます。
私たちは、生成された要約モデルが多様な意見セットをカバーできるかどうかを測定する意見の多様性の観点から、意見の要約における偏りを研究します。
さらに、特定のトピックに対する 2 つの意見のスタンスの点で 2 つの意見がどの程度密接に関連しているかを示す尺度である意見の類似性と、意見の多様性との関係を調べます。
トピックに対するスタンスのレンズを通して、新型コロナウイルス感染症下で議論の余地がある 3 つのトピックを使用して、意見の多様性と類似性を調べます。
これらのトピックに関する実験結果から、意見の類似性が高くても、良好な多様性が示されていないことや、ソース文書で元々提示されていたさまざまな意見が適切にカバーされていないことが明らかになりました。
BART と ChatGPT は、ソース文書に示されている多様な意見をより適切に取り込むことができることがわかりました。

要約(オリジナル)

Opinion summarisation is a task that aims to condense the information presented in the source documents while retaining the core message and opinions. A summary that only represents the majority opinions will leave the minority opinions unrepresented in the summary. In this paper, we use the stance towards a certain target as an opinion. We study bias in opinion summarisation from the perspective of opinion diversity, which measures whether the model generated summary can cover a diverse set of opinions. In addition, we examine opinion similarity, a measure of how closely related two opinions are in terms of their stance on a given topic, and its relationship with opinion diversity. Through the lens of stances towards a topic, we examine opinion diversity and similarity using three debatable topics under COVID-19. Experimental results on these topics revealed that a higher degree of similarity of opinions did not indicate good diversity or fairly cover the various opinions originally presented in the source documents. We found that BART and ChatGPT can better capture diverse opinions presented in the source documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google