Uncertainty Quantification and Decomposition for LLM-based Recommendation

要約

推奨のために大規模な言語モデル（LLMS）が広く採用されているにもかかわらず、LLMはしばしば彼らの推奨に不確実性を示すことを実証します。
推奨事項を生成する際にLLMSを信頼できる使用を確保するために、LLMSによって生成された推奨事項の信頼性を評価することの重要性を強調します。
まず、LLMベースの推奨事項の信頼性を定量的に測定するために、予測不確実性を推定するための新しいフレームワークを導入することから始めます。
さらに、予測的な不確実性を推奨の不確実性と迅速な不確実性に分解し、不確実性の主要なソースの詳細な分析を可能にすることを提案します。
広範な実験を通じて、（1）予測不確実性がLLMベースの推奨事項の信頼性を効果的に示すことを実証します。
おすすめ。
ソースコードとモデルの重みはhttps://github.com/wonbinkweon/unc_llm_rec_www2025で入手できます。

要約(オリジナル)

Despite the widespread adoption of large language models (LLMs) for recommendation, we demonstrate that LLMs often exhibit uncertainty in their recommendations. To ensure the trustworthy use of LLMs in generating recommendations, we emphasize the importance of assessing the reliability of recommendations generated by LLMs. We start by introducing a novel framework for estimating the predictive uncertainty to quantitatively measure the reliability of LLM-based recommendations. We further propose to decompose the predictive uncertainty into recommendation uncertainty and prompt uncertainty, enabling in-depth analyses of the primary source of uncertainty. Through extensive experiments, we (1) demonstrate predictive uncertainty effectively indicates the reliability of LLM-based recommendations, (2) investigate the origins of uncertainty with decomposed uncertainty measures, and (3) propose uncertainty-aware prompting for a lower predictive uncertainty and enhanced recommendation. Our source code and model weights are available at https://github.com/WonbinKweon/UNC_LLM_REC_WWW2025

arxiv情報

提供元, 利用サービス

arxiv.jp, Google