Are Generative AI Agents Effective Personalized Financial Advisors?

要約

大規模な言語モデルベースのエージェントは、パーソナライズされた会話のアドバイスを提供する低コストのメカニズムとしてますます人気があり、映画の推奨など、比較的単純なシナリオで印象的な能力を実証しています。
しかし、これらのエージェントは、ドメインの専門知識が不可欠であり、間違いがかなりのリスクをもたらす複雑なハイステークスドメインでどのように機能しますか？
このペーパーでは、金融ドメインにおけるLLMアドバイザーの有効性を調査し、3つの異なる課題に焦点を当てています。（1）ユーザー自体が自分のニーズがわからない場合にユーザーの好みを引き出す（2）多様な投資選好のためのパーソナライズされたガイダンスを提供し、（3）関係を構築して信頼を構築するためのアドバイザーパーソナリティを活用します。
64人の参加者を対象としたラボベースのユーザー調査を介して、LLMアドバイザーは、好みを引き出すときに人間のアドバイザーのパフォーマンスと一致することがよくありますが、対立するユーザーのニーズを解決するのに苦労する可能性があります。
パーソナライズされたアドバイスを提供するとき、LLMはユーザーの行動にプラスの影響を与えることができましたが、明確な障害モードを実証しました。
私たちの結果は、正確な好みの誘発が重要であることを示しています。そうでなければ、LLMアドバイザーはほとんど影響を与えないか、投資家に不適切な資産に向けることさえできます。
さらに心配なことに、ユーザーは与えられているアドバイスの質に敏感ではないように見えます。または、さらに悪いことに、これらは逆の関係を持つ可能性があります。
実際、ユーザーは、それらのエージェントがより悪いアドバイスを提供したとしても、LLMSが外向的なペルソナを採用することに対する満足度と感情的な信頼を好むことと感情的な信頼を報告しました。

要約(オリジナル)

Large language model-based agents are becoming increasingly popular as a low-cost mechanism to provide personalized, conversational advice, and have demonstrated impressive capabilities in relatively simple scenarios, such as movie recommendations. But how do these agents perform in complex high-stakes domains, where domain expertise is essential and mistakes carry substantial risk? This paper investigates the effectiveness of LLM-advisors in the finance domain, focusing on three distinct challenges: (1) eliciting user preferences when users themselves may be unsure of their needs, (2) providing personalized guidance for diverse investment preferences, and (3) leveraging advisor personality to build relationships and foster trust. Via a lab-based user study with 64 participants, we show that LLM-advisors often match human advisor performance when eliciting preferences, although they can struggle to resolve conflicting user needs. When providing personalized advice, the LLM was able to positively influence user behavior, but demonstrated clear failure modes. Our results show that accurate preference elicitation is key, otherwise, the LLM-advisor has little impact, or can even direct the investor toward unsuitable assets. More worryingly, users appear insensitive to the quality of advice being given, or worse these can have an inverse relationship. Indeed, users reported a preference for and increased satisfaction as well as emotional trust with LLMs adopting an extroverted persona, even though those agents provided worse advice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google