Deficiency of Large Language Models in Finance: An Empirical Examination of Hallucination

要約

幻覚の問題は、特に金融、教育、法律などの分野に適用される場合、大規模言語モデル (LLM) の根本的な欠陥として認識されています。
懸念が高まっているにもかかわらず、実証的な調査は不足している。
この論文では、財務業務における LLM の幻覚行動の実証的調査を提供します。
まず、LLM モデルが財務概念と用語を説明する能力を実証的に調査します。
次に、過去の株価をクエリする LLM モデルの能力を評価します。
第三に、幻覚の問題を軽減するために、少数ショット学習、コントラスト層による復号化（DoLa）、検索拡張生成（RAG）法、および関数のプロンプトベースのツール学習法を含む 4 つの実践的な方法の有効性を評価します。
クエリコマンドを生成します。
最後に、私たちの主な発見は、既製の LLM が財務業務で深刻な幻覚行動を経験するということです。
したがって、LLM の幻覚を軽減するための研究努力を緊急に求める必要があります。

要約(オリジナル)

The hallucination issue is recognized as a fundamental deficiency of large language models (LLMs), especially when applied to fields such as finance, education, and law. Despite the growing concerns, there has been a lack of empirical investigation. In this paper, we provide an empirical examination of LLMs’ hallucination behaviors in financial tasks. First, we empirically investigate LLM model’s ability of explaining financial concepts and terminologies. Second, we assess LLM models’ capacity of querying historical stock prices. Third, to alleviate the hallucination issue, we evaluate the efficacy of four practical methods, including few-shot learning, Decoding by Contrasting Layers (DoLa), the Retrieval Augmentation Generation (RAG) method and the prompt-based tool learning method for a function to generate a query command. Finally, our major finding is that off-the-shelf LLMs experience serious hallucination behaviors in financial tasks. Therefore, there is an urgent need to call for research efforts in mitigating LLMs’ hallucination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google