Dial-insight: Fine-tuning Large Language Models with High-Quality Domain-Specific Data Preventing Capability Collapse

要約

大規模言語モデル (LLM) の有効性は、特に特殊なドメイン内の基礎となるデータの品質に大きく依存します。
ドメイン固有のアプリケーション向けに LLM を微調整する際の一般的な課題は、モデルの汎化機能が低下する可能性があることです。
これらの問題に対処するために、高品質のデータを生成するように設計されたプロダクション プロンプトを構築するための 2 段階のアプローチを提案します。
この方法では、幅広いタスクを網羅し、豊富な表現を示す多様なプロンプトを生成します。
さらに、生成されたラベルデータの整合性を確保するために、コスト効率の高い多次元の品質評価フレームワークを導入します。
サービスプロバイダーと不動産部門の顧客とのやり取りで構成されるデータセットを利用して、データ品質とモデルのパフォーマンスの間に正の相関関係があることを実証しました。
特に、私たちの調査結果は、微調整にドメイン固有のデータのみが使用された場合でも、全体的な汎化能力を損なうことなく、提案した方法によって生成されたデータを使用した微調整を通じて、一般的なLLMのドメイン固有の能力を強化できることを示しています。

要約(オリジナル)

The efficacy of large language models (LLMs) is heavily dependent on the quality of the underlying data, particularly within specialized domains. A common challenge when fine-tuning LLMs for domain-specific applications is the potential degradation of the model’s generalization capabilities. To address these issues, we propose a two-stage approach for the construction of production prompts designed to yield high-quality data. This method involves the generation of a diverse array of prompts that encompass a broad spectrum of tasks and exhibit a rich variety of expressions. Furthermore, we introduce a cost-effective, multi-dimensional quality assessment framework to ensure the integrity of the generated labeling data. Utilizing a dataset comprised of service provider and customer interactions from the real estate sector, we demonstrate a positive correlation between data quality and model performance. Notably, our findings indicate that the domain-specific proficiency of general LLMs can be enhanced through fine-tuning with data produced via our proposed method, without compromising their overall generalization abilities, even when exclusively domain-specific data is employed for fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google