Summarization of Opinionated Political Documents with Varied Perspectives

要約

世界的に党派間の敵対心と二極化が増大しており、この二極化は大統領選挙の前後でさらに高まっている。
多様な視点の正確な要約を生成できるモデルは、ユーザーに別の視点を提供することで、そのような二極化を軽減するのに役立ちます。
この研究では、意見のあるニュース記事の一連の一節で各政治的観点を独立して要約するための新しいデータセットとタスクを導入します。
このタスクのために、視点の要約パフォーマンスのさまざまな側面を評価するためのフレームワークを提案します。
自動評価と人間による評価の両方を通じて、さまざまなサイズとアーキテクチャの 10 個のモデルのベンチマークを行います。
GPT-4o などの最近のモデルはこのタスクではうまく機能しますが、すべてのモデルが意図した視点に忠実な要約を生成するのに苦労していることがわかりました。
要約の分析では、抽出動作が入力ドキュメントの特徴にどのように依存するかに焦点を当てています。

要約(オリジナル)

Global partisan hostility and polarization has increased, and this polarization is heightened around presidential elections. Models capable of generating accurate summaries of diverse perspectives can help reduce such polarization by exposing users to alternative perspectives. In this work, we introduce a novel dataset and task for independently summarizing each political perspective in a set of passages from opinionated news articles. For this task, we propose a framework for evaluating different dimensions of perspective summary performance. We benchmark 10 models of varying sizes and architectures through both automatic and human evaluation. While recent models like GPT-4o perform well on this task, we find that all models struggle to generate summaries faithful to the intended perspective. Our analysis of summaries focuses on how extraction behavior depends on the features of the input documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google