General LLMs as Instructors for Domain-Specific LLMs: A Sequential Fusion Method to Integrate Extraction and Editing

要約

スクラッチから再トレーニングせずに大規模言語モデル (LLM) を更新することに大きな関心が寄せられていますが、それにはいくつかの課題が伴います。
これは、サンプルが限られているにもかかわらず、広範なテキストにわたってドメイン専門家の推論を必要とするデータセットを使用して LLM を更新する場合に特に当てはまります。
私たちはこのシナリオを Few-Shot Domain-Expert Reasoning for Updating LLM (FDoR-UL) と名付けました。
Low-Rank Adaptation (LoRA) や Retrieval Augmented Generation (RAG) などの従来の手法は、この重大な問題に対処するには不十分であり、特に FDoR-UL の明確なニーズを体現する特定の医療データセットの調査で明らかです。
この課題に取り組むために、複雑なコンテキストからの知識を LLM に統合する Sequential Fusion 手法を導入します。
この方法では 2 段階のフレームワークが採用されています。最初に一般的な LLM を活用して複雑なテキストから知識を取得するための関係抽出を実行し、続いて知識編集 (KE) を通じてドメイン固有の LLM を更新します。
私たちの方法を採用すると、ドメイン固有の LLM は質問応答タスクで 71.7% の精度 (平均 39.1% の向上) を達成しました。
さらに、私たちが開発した新しい経済管理データセットに評価を拡張し、私たちの方法は 75.0% の精度 (平均利得 45.0%) を達成しました。
これらの調査結果は、さまざまなドメインにわたる FDoR-UL における当社のアプローチの有効性と柔軟性を強調しています。

要約(オリジナル)

The substantial interest in updating Large Language Models (LLMs) without retraining from scratch is accompanied by several challenges. This is particularly true when updating LLMs with datasets that necessitate domain-expert reasoning across extensive texts, despite limited samples. We termed the scenario as the Few-Shot Domain-Expert Reasoning for Updating LLMs (FDoR-UL). Traditional methods such as Low-Rank Adaptation (LoRA) and Retrieval Augmented Generation (RAG) are inadequate for addressing this critical issue, particularly evident in our exploration of a specific medical dataset that epitomizes the distinct needs of FDoR-UL. To tackle this challenge, we introduce a Sequential Fusion method to integrate knowledge from complex contexts into LLMs. This method employs a two-stage framework: initially leveraging general LLMs to perform relation extraction for knowledge acquisition from complex texts, followed by updating domain-specific LLMs through Knowledge Editing (KE). Employing our method, domain-specific LLMs achieved a 71.7% accuracy (an average gain of 39.1%) in question-answering tasks. Furthermore, we expanded our evaluation to a novel economics-management dataset we developed, where our method achieved a 75.0% accuracy (an average gain of 45.0%). These findings underscore the effectiveness and flexibility of our approach in FDoR-UL across various domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google