Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through Active Exploration

要約

多様性を強化することで命令チューニングを大幅に最適化でき、その結果、より広範囲のタスクを処理できるモデルが得られます。
ただし、このようなチューニングに使用される既存のデータは、個々のドメインを適切にカバーしていないことが多く、これらの領域内での微妙な理解や対話の範囲が制限されています。
この欠陥に対処するために、我々は、大規模言語モデル (LLM) を介したアクティブな探索を通じて、ドメイン固有の命令チューニングで使用されるデータ カバレッジを強化する新しいアプローチである Explore-Instruct を提案します。
Explore-Instruct は、代表的なドメインの使用例に基づいて構築されており、検索アルゴリズムを実装してドメインに焦点を当てた多様な命令チューニング データを取得することで、多数のバリエーションや可能性を探ります。
私たちのデータ中心の分析は、ドメイン固有の命令カバレッジを改善する上で、この提案されたアプローチの有効性を検証します。
さらに、私たちのモデルのパフォーマンスは、ドメイン固有のデータ強化を利用したベースラインを含む、複数のベースラインを超えて大幅な進歩を示しています。
私たちの発見は、特にドメイン固有のコンテキストにおける命令の適用範囲を改善する有望な機会を提供し、それによって適応可能な言語モデルの開発を前進させます。
私たちのコード、モデルの重み、データは \url{https://github.com/fanqiwan/Explore-Instruct} で公開されています。

要約(オリジナル)

Instruction-tuning can be substantially optimized through enhanced diversity, resulting in models capable of handling a broader spectrum of tasks. However, existing data employed for such tuning often exhibit an inadequate coverage of individual domains, limiting the scope for nuanced comprehension and interactions within these areas. To address this deficiency, we propose Explore-Instruct, a novel approach to enhance the data coverage to be used in domain-specific instruction-tuning through active exploration via Large Language Models (LLMs). Built upon representative domain use cases, Explore-Instruct explores a multitude of variations or possibilities by implementing a search algorithm to obtain diversified and domain-focused instruction-tuning data. Our data-centric analysis validates the effectiveness of this proposed approach in improving domain-specific instruction coverage. Moreover, our model’s performance demonstrates considerable advancements over multiple baselines, including those utilizing domain-specific data enhancement. Our findings offer a promising opportunity to improve instruction coverage, especially in domain-specific contexts, thereby advancing the development of adaptable language models. Our code, model weights, and data are public at \url{https://github.com/fanqiwan/Explore-Instruct}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google