Fair Summarization: Bridging Quality and Diversity in Extractive Summaries

要約

ユーザーが作成したコンテンツの複数ドキュメントの要約における公平性は、自然言語処理 (NLP) において依然として重要な課題です。
既存の要約手法では、さまざまな社会グループ間で公平な代表を確保できないことが多く、偏った出力につながります。
このペーパーでは、公平な抽出要約のための 2 つの新しい方法を紹介します。クラスタリング ベースのアプローチである FairExtract と、公平性制約のある GPT-3.5-turbo を活用する FairGPT です。
私たちは、白人、ヒスパニック、アフリカ系アメリカ人の方言ツイートの Divsumm 要約データセットを使用してこれらの手法を評価し、関連するベースラインと比較します。
SUPERT、BLANC、SummaQA、BARTScore、UniEval などの要約品質指標の包括的なセットと公平性指標 F を使用して得られた結果は、FairExtract と FairGPT が競争力のある要約品質を維持しながら優れた公平性を達成していることを示しています。
さらに、品質と公平性を単一の評価フレームワークに統合する複合指標 (SUPERT+F、BLANC+F など) を導入し、これらの目標間のトレードオフについてより微妙な理解を提供します。
この研究は、要約における公平性の重要性を強調し、公平性を意識した NLP モデルにおける将来の研究のベンチマークを設定します。

要約(オリジナル)

Fairness in multi-document summarization of user-generated content remains a critical challenge in natural language processing (NLP). Existing summarization methods often fail to ensure equitable representation across different social groups, leading to biased outputs. In this paper, we introduce two novel methods for fair extractive summarization: FairExtract, a clustering-based approach, and FairGPT, which leverages GPT-3.5-turbo with fairness constraints. We evaluate these methods using Divsumm summarization dataset of White-aligned, Hispanic, and African-American dialect tweets and compare them against relevant baselines. The results obtained using a comprehensive set of summarization quality metrics such as SUPERT, BLANC, SummaQA, BARTScore, and UniEval, as well as a fairness metric F, demonstrate that FairExtract and FairGPT achieve superior fairness while maintaining competitive summarization quality. Additionally, we introduce composite metrics (e.g., SUPERT+F, BLANC+F) that integrate quality and fairness into a single evaluation framework, offering a more nuanced understanding of the trade-offs between these objectives. This work highlights the importance of fairness in summarization and sets a benchmark for future research in fairness-aware NLP models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google