When Giant Language Brains Just Aren’t Enough! Domain Pizzazz with Knowledge Sparkle Dust

要約

大規模言語モデル（LLM）は、GPTモデルを筆頭に、自然言語処理の分野を大きく発展させてきました。LLMは様々なタスクで顕著な性能を発揮しているが、実際のビジネスシナリオにLLMを適応させるには、さらなる検討が必要な課題がある。本論文では、LLMを実用的なユースケースに適合させる際のギャップを埋めることを目的とした実証分析を行う。そのために、保険の質問応答（QA）タスクを、その推論の難しさから、ケーススタディとして選択する。このタスクに基づき、我々は、保険契約のルールブックから抽出されたドメイン固有の知識を持つLLMに依存した新しいモデルを設計する。ドメイン固有の知識は、LLMがドメイン適応のために保険の新しい概念を理解するのに役立つ。実際のQAペアを用いた予備的な結果では、保険契約ルールブックからの知識強化により、GPT-3.5の推論能力が精度の面で50.4%大幅に改善されることが示された。また、既存の公開知識ベース、例えばDBPediaが知識強化に有益であることも分析で示された。この結果から、ビジネスシナリオは本質的に複雑であるため、効果的な問題解決のためには、ドメイン固有の知識や外部リソースを取り入れる必要がある場合が多いことが明らかになった。

要約(オリジナル)

Large language models (LLMs) have significantly advanced the field of natural language processing, with GPT models at the forefront. While their remarkable performance spans a range of tasks, adapting LLMs for real-world business scenarios still poses challenges warranting further investigation. This paper presents an empirical analysis aimed at bridging the gap in adapting LLMs to practical use cases. To do that, we select the question answering (QA) task of insurance as a case study due to its challenge of reasoning. Based on the task we design a new model relied on LLMs which are empowered by domain-specific knowledge extracted from insurance policy rulebooks. The domain-specific knowledge helps LLMs to understand new concepts of insurance for domain adaptation. Preliminary results on real QA pairs show that knowledge enhancement from policy rulebooks significantly improves the reasoning ability of GPT-3.5 of 50.4% in terms of accuracy. The analysis also indicates that existing public knowledge bases, e.g., DBPedia is beneficial for knowledge enhancement. Our findings reveal that the inherent complexity of business scenarios often necessitates the incorporation of domain-specific knowledge and external resources for effective problem-solving.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL