Task Oriented In-Domain Data Augmentation

要約

大規模言語モデル (LLM) は、さまざまなアプリケーションや分野で優れたパフォーマンスを示しています。
法律や広告などの特殊なドメインでより良いパフォーマンスを達成するために、LLM はドメイン内データで事前トレーニングを継続することがよくあります。
ただし、既存のアプローチには 2 つの大きな問題があります。
まず、ドメイン内データは、一般的なドメインに依存しないデータと比較して希少です。
第 2 に、継続的な事前トレーニングに使用されるデータはタスクを認識しないため、下流のアプリケーションには役に立たない可能性があります。
私たちは、タスク指向のドメイン内データ拡張フレームワークである TRAIT を提案します。
私たちのフレームワークは、ドメイン内データ選択とタスク指向の合成パッセージ生成の 2 つの部分に分かれています。
データ選択戦略は、一般的なコーパスから大量のドメイン内データを識別して選択するため、継続的な事前トレーニング データ内のドメイン知識が大幅に強化されます。
合成文には、下流タスクに関する質問に答えるためにドメイン知識を使用する方法に関するガイダンスが含まれています。
このようなパッセージでトレーニングすることにより、モデルは下流アプリケーションのニーズに適合します。
私たちは LLM を広告と数学の 2 つの領域に適応させます。
平均して、TRAIT は LLM のパフォーマンスを広告ドメインで 8%、数学ドメインで 7.5% 向上させます。

要約(オリジナル)

Large Language Models (LLMs) have shown superior performance in various applications and fields. To achieve better performance on specialized domains such as law and advertisement, LLMs are often continue pre-trained on in-domain data. However, existing approaches suffer from two major issues. First, in-domain data are scarce compared with general domain-agnostic data. Second, data used for continual pre-training are not task-aware, such that they may not be helpful to downstream applications. We propose TRAIT, a task-oriented in-domain data augmentation framework. Our framework is divided into two parts: in-domain data selection and task-oriented synthetic passage generation. The data selection strategy identifies and selects a large amount of in-domain data from general corpora, and thus significantly enriches domain knowledge in the continual pre-training data. The synthetic passages contain guidance on how to use domain knowledge to answer questions about downstream tasks. By training on such passages, the model aligns with the need of downstream applications. We adapt LLMs to two domains: advertisement and math. On average, TRAIT improves LLM performance by 8% in the advertisement domain and 7.5% in the math domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google