Generative Large Language Models Are All-purpose Text Analytics Engines: Text-to-text Learning Is All Your Need

要約

目的 プロンプトチューニングによる生成大言語モデル (LLM) に基づく統合されたテキスト間学習アーキテクチャを使用して、主要な臨床自然言語処理 (NLP) タスクを解決すること。
方法 7 つの主要な臨床 NLP タスクをテキスト間学習として定式化し、GPT-3 アーキテクチャを使用して開発され、最大 200 億のパラメータでトレーニングされた 1 つの統合生成臨床 LLM、GatorTronGPT を使用してそれらを解決しました。
フリーズ LLM を使用したソフト プロンプト (つまり、トレーニング可能なベクトル) を採用しました。LLM パラメーターは更新されず (つまり、フリーズし)、ソフト プロンプトのベクトルのみが更新されます。これは、プロンプト チューニングとして知られています。
追加のソフト プロンプトを入力レイヤーのプレフィックスとして追加しました。これはプロンプトのチューニング中に最適化されました。
7 つの臨床 NLP タスクを使用して提案された方法を評価し、Transformer モデルに基づく以前のタスク固有のソリューションと比較しました。
結果と結論 提案されたアプローチは、1 つの統合された生成 LLM を使用して、7 つの主要な臨床 NLP タスクのうち 5 つについて最先端のパフォーマンスを達成しました。
私たちのアプローチは、以前のタスク固有のトランスフォーマー モデルよりも、概念抽出で最大 3%、健康の社会的決定要因に適用される関係抽出で 7%、臨床概念の正規化で 3.4%、臨床略語の曖昧さ回避で 3.4 ～ 10%、および 5.5 ～ 9% 上回りました。
自然言語推論用。
また、私たちのアプローチは、臨床概念と関係の抽出に関して、以前に開発されたプロンプトベースの機械読解（MRC）モデルである GatorTron-MRC を上回りました。
提案されたアプローチは、統合された生成 LLM を使用して、トレーニングからデプロイメントまで「すべてに 1 つのモデル」という約束を提供できます。

要約(オリジナル)

Objective To solve major clinical natural language processing (NLP) tasks using a unified text-to-text learning architecture based on a generative large language model (LLM) via prompt tuning. Methods We formulated 7 key clinical NLP tasks as text-to-text learning and solved them using one unified generative clinical LLM, GatorTronGPT, developed using GPT-3 architecture and trained with up to 20 billion parameters. We adopted soft prompts (i.e., trainable vectors) with frozen LLM, where the LLM parameters were not updated (i.e., frozen) and only the vectors of soft prompts were updated, known as prompt tuning. We added additional soft prompts as a prefix to the input layer, which were optimized during the prompt tuning. We evaluated the proposed method using 7 clinical NLP tasks and compared them with previous task-specific solutions based on Transformer models. Results and Conclusion The proposed approach achieved state-of-the-art performance for 5 out of 7 major clinical NLP tasks using one unified generative LLM. Our approach outperformed previous task-specific transformer models by ~3% for concept extraction and 7% for relation extraction applied to social determinants of health, 3.4% for clinical concept normalization, 3.4~10% for clinical abbreviation disambiguation, and 5.5~9% for natural language inference. Our approach also outperformed a previously developed prompt-based machine reading comprehension (MRC) model, GatorTron-MRC, for clinical concept and relation extraction. The proposed approach can deliver the “one model for all“ promise from training to deployment using a unified generative LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google