SeDi-Instruct: Enhancing Alignment of Language Models through Self-Directed Instruction Generation

要約

大規模な言語モデル（LLMS）の急速な進化により、業界はさまざまなAIベースのサービスを開発することができました。
顧客に高品質のサービスを提供するために、ターゲットドメインの基礎モデルを適応させる際には、命令調整が不可欠であると考えられています。
命令調整における重要な課題は、高品質の命令データを取得することです。
CHATGPT APIを使用して命令データを自動的に生成する自己計算は、データ不足の問題を軽減します。
命令データの品質を向上させるために、自己インストラクションは、多くの役に立たないAPI呼び出しのためにコストに関しては非効率的であるにもかかわらず、ChatGptから生成された命令の多くを破棄します。
低コストで高品質の命令データを生成するために、多様性ベースのフィルタリングおよび反復フィードバックタスクの生成を採用する新しいデータ生成フレームワーク、自己指導命令生成（SEDI-INSTRUCT）を提案します。
多様性ベースのフィルタリングは、バッチ内の命令の多様性を強化することにより、低品質の生成された命令を過度に破棄することなく、モデルの精度を維持します。
これにより、命令データを合成するコストが削減されます。
反復フィードバックタスク生成は、命令の生成とトレーニングタスクを統合し、トレーニング中に得られた情報を利用して高品質の命令セットを作成します。
我々の結果は、堆積物インストラクションが、従来の方法と比較してAIモデルの精度を5.2％増加させ、データ生成コストを36％削減することを示しています。

要約(オリジナル)

The rapid evolution of Large Language Models (LLMs) has enabled the industry to develop various AI-based services. Instruction tuning is considered essential in adapting foundation models for target domains to provide high-quality services to customers. A key challenge in instruction tuning is obtaining high-quality instruction data. Self-Instruct, which automatically generates instruction data using ChatGPT APIs, alleviates the data scarcity problem. To improve the quality of instruction data, Self-Instruct discards many of the instructions generated from ChatGPT, even though it is inefficient in terms of cost owing to many useless API calls. To generate high-quality instruction data at a low cost, we propose a novel data generation framework, Self-Direct Instruction generation (SeDi-Instruct), which employs diversity-based filtering and iterative feedback task generation. Diversity-based filtering maintains model accuracy without excessively discarding low-quality generated instructions by enhancing the diversity of instructions in a batch. This reduces the cost of synthesizing instruction data. The iterative feedback task generation integrates instruction generation and training tasks and utilizes information obtained during the training to create high-quality instruction sets. Our results show that SeDi-Instruct enhances the accuracy of AI models by 5.2%, compared with traditional methods, while reducing data generation costs by 36%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google