Harnessing the Power of David against Goliath: Exploring Instruction Data Generation without Using Closed-Source Models

要約

命令チューニングは、大規模言語モデル (LLM) がユーザーの命令に従ってさまざまなオープン ドメイン タスクを完了できるようにするのに役立ちます。
命令チューニングが成功するかどうかは、高品質の命令データが利用できるかどうかにかかっています。
人間によるアノテーションの法外なコストと標準以下の品質のため、最近の研究では、強力なクローズドソース モデルを使用して指示データを自動的に生成する方法の探求に深く取り組んでいます。
ただし、これらの方法には、強力なクローズドソース モデルの使用要件から生じる潜在的なリスクがあり、その出力を機械学習モデルの開発に利用することは厳しく禁止されています。
この問題に対処するために、この研究では、クローズドソース モデルに依存しない高品質の指示データを生成するための代替アプローチを検討します。
私たちの探索には、さまざまな既存の命令生成方法の調査が含まれており、最終的に、品質をさらに向上させるための 2 つの新しい戦略と最も効率的なバリアントの統合に至ります。
2 つのベンチマークと GPT-4 モデルの評価結果は、生成された命令データの有効性を示しており、クローズドソース モデルに依存する手法である Alpaca を上回るパフォーマンスを発揮します。
クローズドソース モデルを使用せずに高品質の指示データを生成することがさらに進歩することを期待しています。

要約(オリジナル)

Instruction tuning is instrumental in enabling Large Language Models~(LLMs) to follow user instructions to complete various open-domain tasks. The success of instruction tuning depends on the availability of high-quality instruction data. Owing to the exorbitant cost and substandard quality of human annotation, recent works have been deeply engaged in the exploration of the utilization of powerful closed-source models to generate instruction data automatically. However, these methods carry potential risks arising from the usage requirements of powerful closed-source models, which strictly forbid the utilization of their outputs to develop machine learning models. To deal with this problem, in this work, we explore alternative approaches to generate high-quality instruction data that do not rely on closed-source models. Our exploration includes an investigation of various existing instruction generation methods, culminating in the integration of the most efficient variant with two novel strategies to enhance the quality further. Evaluation results from two benchmarks and the GPT-4 model demonstrate the effectiveness of our generated instruction data, which can outperform Alpaca, a method reliant on closed-source models. We hope that more progress can be achieved in generating high-quality instruction data without using closed-source models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google