Structure-aware Domain Knowledge Injection for Large Language Models

要約

このペーパーでは、基礎となる大規模言語モデル (LLM) をドメイン スペシャリストに効率的に変換するための、StructTuning と呼ばれる先駆的な方法論を紹介します。
トレーニング コーパスの要件をわずか 0.3% に大幅に削減しながら、従来の知識注入パフォーマンスの 50% という驚異的なパフォーマンスを達成します。
私たちのメソッドは、人間の学生の教育プロセス、特に教科書からの構造化された専門知識がどのように吸収され、その後特定の演習を通じて現実世界の課題に取り組むためにどのように適用されるかにインスピレーションを得ています。
これに基づいて、我々は、知識の注入と調整のための新しい 2 段階の戦略、つまり構造を意識した継続的事前トレーニング (SCPT) と構造を意識した教師あり微調整 (SSFT) を提案します。
SCPT フェーズでは、ドメイン知識分類を自動的に抽出し、トレーニング コーパスを再編成することで、LLM がテキスト セグメントを分類内の対象となる知識ポイントに効果的にリンクできるようにします。
SSFT フェーズでは、実際的な問題に対処するために構造化されたドメインの洞察を活用して、出力内の基礎となる知識構造を解明するようモデルに明示的に促します。
私たちの究極のメソッドは、LongBench および MMedBench データセットに対するクローズドブック質問応答タスクを使用して、モデル アーキテクチャとスケール全体にわたって広範な評価を受けています。
注目すべきことに、私たちの方法は、トレーニング コストを 5% に大幅に削減しながら、MMedBench 上の最先端の MMedLM2 と同等の改善の可能性を示しています。
このブレークスルーにより、包括的なデータ利用により、より強力なドメイン固有の LLM を実現するために StructTuning をスケールアップする道が開かれます。
コードは https://github.com/alibaba/struxgpt で入手できます。

要約(オリジナル)

This paper introduces a pioneering methodology, termed StructTuning, to efficiently transform foundation Large Language Models (LLMs) into domain specialists. It significantly reduces the training corpus requirement to a mere 0.3%, while achieving an impressive 50% of traditional knowledge injection performance. Our method is inspired by the educational processes of human students, particularly how structured domain knowledge from textbooks is assimilated and subsequently applied to tackle real-world challenges through specific exercises. Based on this, we propose a novel two-stage strategy for knowledge injection and alignment: Structure-aware Continual Pre-Training (SCPT) and Structure-aware Supervised Fine-Tuning (SSFT). In the SCPT phase, we automatically extract the domain knowledge taxonomy and reorganize the training corpora, enabling LLMs to effectively link textual segments to targeted knowledge points within the taxonomy. In the SSFT phase, we explicitly prompt models to elucidate the underlying knowledge structure in their outputs, leveraging the structured domain insight to address practical problems. Our ultimate method has undergone extensive evaluations across model architectures and scales, using closed-book question-answering tasks on LongBench and MMedBench datasets. Remarkably, our method demonstrates the potential of comparable improvement against the state-of-the-art MMedLM2 on MMedBench, while significantly reducing the training costs to 5%. This breakthrough paves the way for scaling up our StructTuning for stronger domain-specific LLMs with comprehensive data utilization. Code is available at https://github.com/alibaba/struxgpt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google