Bias and Unfairness in Information Retrieval Systems: New Challenges in the LLM Era

要約

大規模言語モデル (LLM) の急速な進歩に伴い、検索エンジンやレコメンダー システムなどの情報検索 (IR) システムは、大きなパラダイム シフトを経験しました。
この進化は新たな機会をもたらす一方で、情報エコシステムを脅かす可能性のある、特に偏見や不公平の観点から新たな課題をもたらします。
このペーパーでは、LLM の統合時に IR システムで新たに発生する差し迫った偏見と不公平性の問題に関する既存の研究の包括的な調査を紹介します。
まず、バイアスと不公平性の問題を分布の不一致の問題として統合し、分布の調整を通じてさまざまな緩和戦略を分類するための基礎を提供します。
続いて、LLM を IR システムに統合する 3 つの重要な段階、つまりデータ収集、モデル開発、結果評価から生じる特定のバイアスと不公平性の問題を系統的に掘り下げます。
その際、私たちは、これらの問題に関連する定義、特徴、および対応する緩和戦略に焦点を当てて、最近の文献を注意深くレビューおよび分析します。
最後に、私たちは、将来の取り組みに向けたいくつかの未解決の問題と課題を特定し、強調します。これは、IR 分野およびその他の分野の研究者や利害関係者に、この LLM 時代における IR の偏見と不公平性の問題をより深く理解し、軽減するよう促すことを目的としています。
また、この上昇方向に関連する論文やリソースの GitHub リポジトリ (https://github.com/KID-22/LLM-IR-Bias-Fairness-Survey) を一貫して維持しています。

要約(オリジナル)

With the rapid advancements of large language models (LLMs), information retrieval (IR) systems, such as search engines and recommender systems, have undergone a significant paradigm shift. This evolution, while heralding new opportunities, introduces emerging challenges, particularly in terms of biases and unfairness, which may threaten the information ecosystem. In this paper, we present a comprehensive survey of existing works on emerging and pressing bias and unfairness issues in IR systems when the integration of LLMs. We first unify bias and unfairness issues as distribution mismatch problems, providing a groundwork for categorizing various mitigation strategies through distribution alignment. Subsequently, we systematically delve into the specific bias and unfairness issues arising from three critical stages of LLMs integration into IR systems: data collection, model development, and result evaluation. In doing so, we meticulously review and analyze recent literature, focusing on the definitions, characteristics, and corresponding mitigation strategies associated with these issues. Finally, we identify and highlight some open problems and challenges for future work, aiming to inspire researchers and stakeholders in the IR field and beyond to better understand and mitigate bias and unfairness issues of IR in this LLM era. We also consistently maintain a GitHub repository for the relevant papers and resources in this rising direction at https://github.com/KID-22/LLM-IR-Bias-Fairness-Survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google