Improving Domain Adaptation through Extended-Text Reading Comprehension

要約

大規模な言語モデルのドメイン固有の機能を強化するには、ドメイン固有のコーパスで事前トレーニングを継続することが一般的な方法です。
最近の研究では、正規表現ベースのパターンでフォーマットされた読解データを使用してモデルを適応させると、ドメイン固有のタスクのパフォーマンスが大幅に向上することが実証されました。
ただし、正規表現ベースのパターンでは、ドメイン固有の知識を使用して生のコーパスを解析できません。
さらに、質問と回答のペアは、事前定義された形式でコーパスから直接抽出され、限定されたコンテキストを提供します。
この制限に対処するために、LLM とクラスタリングによって読解力を向上させます。
LLM は、コーパス内のドメイン知識を活用して理解段階を改善することに重点を置き、クラスタリングはコンテキストを拡張して関連知識を提供し、読解段階を充実させます。
さらに、私たちの方法には、パラメーター効率の高い微調整が組み込まれており、ドメイン適応の効率が向上します。
AdaptLLM と比較して、私たちの方法はドメイン固有のタスクで 5% を超える改善を達成しました。
私たちのコードは https://github.com/microsoft/LMOps で入手できます。

要約(オリジナル)

To enhance the domain-specific capabilities of large language models, continued pre-training on a domain-specific corpus is a prevalent method. Recent work demonstrates that adapting models using reading comprehension data formatted by regex-based patterns can significantly improve performance on domain-specific tasks. However, regex-based patterns are incapable of parsing raw corpora using domain-specific knowledge. Furthermore, the question and answer pairs are extracted directly from the corpus in predefined formats offers limited context. To address this limitation, we improve reading comprehension via LLM and clustering. LLM focuses on leveraging domain knowledge within the corpus to refine comprehension stage, while clustering supplies relevant knowledge by extending the context to enrich reading stage. Additionally, our method incorporates parameter-efficient fine-tuning to improve the efficiency of domain adaptation. In comparison to AdaptLLM, our method achieves an improvement exceeding 5% in domain-specific tasks. Our code will available at https://github.com/microsoft/LMOps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google