Large Language Models Meet NLP: A Survey

要約

ChatGPT のような大規模言語モデル (LLM) は、自然言語処理 (NLP) タスクにおいて優れた機能を示していますが、この分野における LLM の可能性についての体系的な調査はほとんど未踏のままです。
この研究は、次の質問を調査することで、このギャップに対処することを目的としています: (1) 文献では、LLM は現在 NLP タスクにどのように適用されていますか?
(2) 従来の NLP タスクはすでに LLM で解決されていますか?
(3) NLP における LLM の将来はどうなるでしょうか?
これらの質問に答えるために、最初のステップとして、NLP における LLM の包括的な概要を提供します。
具体的には、まず、(1) パラメーター凍結アプリケーションと (2) パラメーター調整アプリケーションを含む統一分類法を導入し、NLP における LLM の現在の進歩を理解するための統一された視点を提供します。
さらに、さらなる画期的な進歩を促すことを目的として、新たなフロンティアとそれに関連する課題を要約します。
この研究が、NLP における LLM の｛可能性と限界｝に関する貴重な洞察を提供すると同時に、NLP で効果的な LLM を構築するための実践的なガイドとしても機能することを願っています。

要約(オリジナル)

While large language models (LLMs) like ChatGPT have shown impressive capabilities in Natural Language Processing (NLP) tasks, a systematic investigation of their potential in this field remains largely unexplored. This study aims to address this gap by exploring the following questions: (1) How are LLMs currently applied to NLP tasks in the literature? (2) Have traditional NLP tasks already been solved with LLMs? (3) What is the future of the LLMs for NLP? To answer these questions, we take the first step to provide a comprehensive overview of LLMs in NLP. Specifically, we first introduce a unified taxonomy including (1) parameter-frozen application and (2) parameter-tuning application to offer a unified perspective for understanding the current progress of LLMs in NLP. Furthermore, we summarize the new frontiers and the associated challenges, aiming to inspire further groundbreaking advancements. We hope this work offers valuable insights into the {potential and limitations} of LLMs in NLP, while also serving as a practical guide for building effective LLMs in NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google