A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems

要約

プライバシー・ポリシーは、データの収集と使用について利用者に通知するものであるが、その複雑さゆえに、多様な人々にとってのアクセシビリティが制限されている。既存のプライバシーポリシーの質問応答（QA）システムは、英語の方言によって性能に格差があり、非標準的な品種の話者には不利である。我々は、方言バイアスを軽減するために、人間中心設計の原則にインスパイアされた新しいマルチエージェントフレームワークを提案する。本アプローチは、方言の意図を保持しながらクエリを標準アメリカ英語（SAE）に翻訳する方言エージェントと、専門知識を用いて予測を改良するプライバシーポリシーエージェントを統合する。先行するアプローチとは異なり、本手法は再トレーニングや方言特有の微調整を必要としないため、モデルやドメインを問わず幅広く適用可能である。PrivacyQAとPolicyQAで評価した結果、我々のフレームワークは、GPT-4o-miniのゼロショット精度を、PrivacyQAでは0.394から0.601に、PolicyQAでは0.352から0.464に向上させ、追加のトレーニングデータなしで、数ショットのベースラインを上回る、あるいはそれに匹敵する精度を達成した。これらの結果は、方言バイアスを軽減する構造化エージェント・コラボレーションの有効性を強調し、プライバシー情報への公平なアクセスを保証するために、言語の多様性を考慮したNLPシステムを設計することの重要性を強調しています。

要約(オリジナル)

Privacy policies inform users about data collection and usage, yet their complexity limits accessibility for diverse populations. Existing Privacy Policy Question Answering (QA) systems exhibit performance disparities across English dialects, disadvantaging speakers of non-standard varieties. We propose a novel multi-agent framework inspired by human-centered design principles to mitigate dialectal biases. Our approach integrates a Dialect Agent, which translates queries into Standard American English (SAE) while preserving dialectal intent, and a Privacy Policy Agent, which refines predictions using domain expertise. Unlike prior approaches, our method does not require retraining or dialect-specific fine-tuning, making it broadly applicable across models and domains. Evaluated on PrivacyQA and PolicyQA, our framework improves GPT-4o-mini’s zero-shot accuracy from 0.394 to 0.601 on PrivacyQA and from 0.352 to 0.464 on PolicyQA, surpassing or matching few-shot baselines without additional training data. These results highlight the effectiveness of structured agent collaboration in mitigating dialect biases and underscore the importance of designing NLP systems that account for linguistic diversity to ensure equitable access to privacy information.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL