Whom do Explanations Serve? A Systematic Literature Survey of User Characteristics in Explainable Recommender Systems Evaluation

要約

推薦システムに説明を加えることは、ユーザーの信頼やシステムの透明性を高めるなど、複数の利点があると言われている。他のアプリケーション分野での先行研究は、特定のユーザー特性が説明に対するユーザーの認識に影響を与えることを示唆している。しかし、レコメンダーシステムの説明に対するこの種の評価はほとんど見られない。本稿では、レコメンダーシステムの説明がユーザー研究で評価された124の論文を調査することで、このギャップを解決する。我々は、説明効果に対するユーザー特性の影響を測定した参加者の記述と研究結果を分析した。その結果、調査された研究結果は、必ずしも評価領域におけるレコメンダーシステムのユーザーを代表していない特定のユーザーを対象としていることが多いことが示唆された。このことは、推薦システムにおける説明に関する現在の研究から得られるであろう洞察の一般化を著しく妨げる可能性がある。さらに、データ報告に矛盾があり、報告結果の再現性に影響を与えている。従って、より包括的で再現可能な評価に向かうための行動を推奨する。

要約(オリジナル)

Adding explanations to recommender systems is said to have multiple benefits, such as increasing user trust or system transparency. Previous work from other application areas suggests that specific user characteristics impact the users’ perception of the explanation. However, we rarely find this type of evaluation for recommender systems explanations. This paper addresses this gap by surveying 124 papers in which recommender systems explanations were evaluated in user studies. We analyzed their participant descriptions and study results where the impact of user characteristics on the explanation effects was measured. Our findings suggest that the results from the surveyed studies predominantly cover specific users who do not necessarily represent the users of recommender systems in the evaluation domain. This may seriously hamper the generalizability of any insights we may gain from current studies on explanations in recommender systems. We further find inconsistencies in the data reporting, which impacts the reproducibility of the reported results. Hence, we recommend actions to move toward a more inclusive and reproducible evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL