Measuring and Addressing Indexical Bias in Information Retrieval

要約

情報検索 (IR) システムは、関連するコンテンツを配信するように設計されていますが、従来のシステムでは、公平性、中立性、またはアイデアのバランスを考慮してランキングが最適化されていない可能性があります。
その結果、IR は多くの場合、索引的なバイアス、つまり文書の位置順序におけるバイアスを導入する可能性があります。
指標バイアスは明らかに人々の意見、投票パターン、その他の行動に影響を与える可能性がありますが、この分野には指標バイアスを自動的に測定するための信頼できる指標や手順が不足しているため、これらの問題は依然として研究が進んでいません。
この目的に向けて、ランク付けされたドキュメントまたは IR システム全体に対する自動バイアス監査をサポートする PAIR フレームワークを導入します。
初の汎用自動バイアス指標である DUO を導入した後、1.4k の物議を醸す問題トピックにわたる 4k のクエリを含む、32k の合成文書と 4.7k の自然文書の新しいコーパスに対して 8 つの IR システムの広範な評価を実行しました。
人間の行動研究により、私たちのアプローチが検証され、私たちのバイアス指標が、指標的なバイアスがいつ、どのように読者の意見を変えるかを予測するのに役立つことが示されました。

要約(オリジナル)

Information Retrieval (IR) systems are designed to deliver relevant content, but traditional systems may not optimize rankings for fairness, neutrality, or the balance of ideas. Consequently, IR can often introduce indexical biases, or biases in the positional order of documents. Although indexical bias can demonstrably affect people’s opinion, voting patterns, and other behaviors, these issues remain understudied as the field lacks reliable metrics and procedures for automatically measuring indexical bias. Towards this end, we introduce the PAIR framework, which supports automatic bias audits for ranked documents or entire IR systems. After introducing DUO, the first general-purpose automatic bias metric, we run an extensive evaluation of 8 IR systems on a new corpus of 32k synthetic and 4.7k natural documents, with 4k queries spanning 1.4k controversial issue topics. A human behavioral study validates our approach, showing that our bias metric can help predict when and how indexical bias will shift a reader’s opinion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google