Unveiling Bias in Fairness Evaluations of Large Language Models: A Critical Literature Review of Music and Movie Recommendation Systems

要約

生成型人工知能、特に大規模言語モデル (LLM) の台頭により、精度とともに公平性を精査する必要性が高まっています。
最近の研究では、推奨などのドメイン内での LLM の公平性評価が調査され始めています。
パーソナライゼーションが推奨システムの本質的な側面であることを考えると、それを公平性評価に組み込むことが最も重要です。
しかし、現在の公平性評価の枠組みがパーソナライゼーションをどの程度考慮しているかは依然として不明である。
私たちの包括的な文献レビューは、パーソナライゼーション要素の統合に焦点を当てて、既存のフレームワークが LLM の公平性評価をどのように処理するかを調査することで、このギャップを埋めることを目的としています。
関連する作品を徹底的に収集して分析したにもかかわらず、ほとんどの評価が推薦システムの重要な側面であるパー​​ソナライゼーションを見落としており、それによって不注意な行為が不注意に永続していることが判明しました。
私たちの調査結果はこの見落としに光を当て、個人化を認める、より微妙な公平性の評価が緊急に必要であることを強調しています。
このような改善は、AI コミュニティ内で公平な発展を促進するために不可欠です。

要約(オリジナル)

The rise of generative artificial intelligence, particularly Large Language Models (LLMs), has intensified the imperative to scrutinize fairness alongside accuracy. Recent studies have begun to investigate fairness evaluations for LLMs within domains such as recommendations. Given that personalization is an intrinsic aspect of recommendation systems, its incorporation into fairness assessments is paramount. Yet, the degree to which current fairness evaluation frameworks account for personalization remains unclear. Our comprehensive literature review aims to fill this gap by examining how existing frameworks handle fairness evaluations of LLMs, with a focus on the integration of personalization factors. Despite an exhaustive collection and analysis of relevant works, we discovered that most evaluations overlook personalization, a critical facet of recommendation systems, thereby inadvertently perpetuating unfair practices. Our findings shed light on this oversight and underscore the urgent need for more nuanced fairness evaluations that acknowledge personalization. Such improvements are vital for fostering equitable development within the AI community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google