ChatGPT for Conversational Recommendation: Refining Recommendations by Reprompting with Feedback

要約

レコメンデーション アルゴリズムは、圧倒的な量のオンライン コンテンツを処理する上で極めて重要です。
ただし、これらのアルゴリズムはユーザーの直接入力をほとんど考慮しないため、アルゴリズム間の表面的なやり取りが生じます。
会話を通じてユーザーを推奨プロセスに直接参加させる取り組みが行われてきましたが、これらのシステムも対話性が限られていました。
最近では、ChatGPT のようなラージ言語モデル (LLM) が、使いやすさと、フィードバックに応答しながらさまざまなタスクに動的に適応できる機能により人気が高まっています。
この論文では、トップ n の会話型レコメンデーション システムとしての ChatGPT の有効性を調査します。
ChatGPT を中心に厳密なパイプラインを構築し、ユーザーが推奨事項を求めてモデルを実際に調査する方法をシミュレートします。最初に指示し、次にフィードバックで再プロンプトを出し、一連の推奨事項を改良します。
ChatGPT の推奨事項における人気バイアスの影響をさらに調査し、そのパフォーマンスをベースライン モデルと比較します。
フィードバックを使用して ChatGPT を再プロンプトすることは、推奨の関連性を向上させる効果的な戦略であり、プロンプト エンジニアリングによって人気のバイアスを軽減できることがわかりました。

要約(オリジナル)

Recommendation algorithms have been pivotal in handling the overwhelming volume of online content. However, these algorithms seldom consider direct user input, resulting in superficial interaction between them. Efforts have been made to include the user directly in the recommendation process through conversation, but these systems too have had limited interactivity. Recently, Large Language Models (LLMs) like ChatGPT have gained popularity due to their ease of use and their ability to adapt dynamically to various tasks while responding to feedback. In this paper, we investigate the effectiveness of ChatGPT as a top-n conversational recommendation system. We build a rigorous pipeline around ChatGPT to simulate how a user might realistically probe the model for recommendations: by first instructing and then reprompting with feedback to refine a set of recommendations. We further explore the effect of popularity bias in ChatGPT’s recommendations, and compare its performance to baseline models. We find that reprompting ChatGPT with feedback is an effective strategy to improve recommendation relevancy, and that popularity bias can be mitigated through prompt engineering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google