Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey

要約

大規模言語モデル (LLM) は、自然言語処理 (NLP) の分野を大幅に進歩させ、幅広いアプリケーションに非常に有用でタスクに依存しない基盤を提供します。
しかし、LLM を直接適用して特定のドメインの複雑な問題を解決するには、ドメイン データの異質性、ドメイン知識の高度化、ドメイン目標の一意性、制約の多様性 (さまざまな社会規範、文化など) によって引き起こされる多くのハードルに直面します。
ドメインアプリケーションにおける適合性、宗教的信念、および倫理基準）。
ドメイン仕様技術は、多くのアプリケーションで破壊的な大規模な言語モデルを作成するための鍵となります。
具体的には、これらのハードルを解決するために、近年、LLM のドメイン特化に関する研究と実践が顕著に増加しています。
この新たな研究分野には大きな影響を与える可能性があり、この分野で進行中の研究をより適切に要約し、導くための包括的かつ体系的なレビューが必要です。
この記事では、大規模言語モデルのアプリケーションにとって重要な新たな方向性である、大規模言語モデルのドメイン仕様技術に関する包括的な調査を紹介します。
まず、LLM へのアクセシビリティに基づいて LLM ドメイン特化技術を分類し、すべてのサブカテゴリのフレームワークとそれらの相互の関係と相違点を要約する体系的な分類法を提案します。
次に、特殊化された LLM から大幅な恩恵を受ける可能性のある重要なアプリケーション ドメインの広範な分類を示し、その実際的な重要性と未解決の課題について説明します。
最後に、この分野の現在の研究状況と将来の傾向についての洞察を提供します。

要約(オリジナル)

Large language models (LLMs) have significantly advanced the field of natural language processing (NLP), providing a highly useful, task-agnostic foundation for a wide range of applications. However, directly applying LLMs to solve sophisticated problems in specific domains meets many hurdles, caused by the heterogeneity of domain data, the sophistication of domain knowledge, the uniqueness of domain objectives, and the diversity of the constraints (e.g., various social norms, cultural conformity, religious beliefs, and ethical standards in the domain applications). Domain specification techniques are key to make large language models disruptive in many applications. Specifically, to solve these hurdles, there has been a notable increase in research and practices conducted in recent years on the domain specialization of LLMs. This emerging field of study, with its substantial potential for impact, necessitates a comprehensive and systematic review to better summarize and guide ongoing work in this area. In this article, we present a comprehensive survey on domain specification techniques for large language models, an emerging direction critical for large language model applications. First, we propose a systematic taxonomy that categorizes the LLM domain-specialization techniques based on the accessibility to LLMs and summarizes the framework for all the subcategories as well as their relations and differences to each other. Second, we present an extensive taxonomy of critical application domains that can benefit dramatically from specialized LLMs, discussing their practical significance and open challenges. Last, we offer our insights into the current research status and future trends in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google