Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications

要約

大規模言語モデル (LLM) は、さまざまな自然言語タスクで優れたパフォーマンスを示しますが、古いデータやドメイン固有の制限に起因する問題の影響を受けやすくなります。
これらの課題に対処するために、研究者は、さまざまな側面から外部情報を組み込むことによって LLM を強化するために、知識編集と検索拡張という 2 つの主要な戦略を追求してきました。
それにもかかわらず、依然として包括的な調査が著しく欠如している。
このペーパーでは、メソッド、ベンチマーク、アプリケーションの分類を含む、知識と大規模言語モデルの統合の傾向を議論するためのレビューを提案します。
さらに、さまざまな手法を詳細に分析し、将来の研究の可能性を指摘します。
私たちは、この調査がコミュニティに迅速なアクセスとこの研究分野の包括的な概要を提供し、将来の研究努力に刺激を与えることを願っています。

要約(オリジナル)

Large language models (LLMs) exhibit superior performance on various natural language tasks, but they are susceptible to issues stemming from outdated data and domain-specific limitations. In order to address these challenges, researchers have pursued two primary strategies, knowledge editing and retrieval augmentation, to enhance LLMs by incorporating external information from different aspects. Nevertheless, there is still a notable absence of a comprehensive survey. In this paper, we propose a review to discuss the trends in integration of knowledge and large language models, including taxonomy of methods, benchmarks, and applications. In addition, we conduct an in-depth analysis of different methods and point out potential research directions in the future. We hope this survey offers the community quick access and a comprehensive overview of this research area, with the intention of inspiring future research endeavors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google