InstOptima: Evolutionary Multi-objective Instruction Optimization via Large Language Model-based Instruction Operators

要約

命令ベースの言語モデリングは、事前トレーニング済み言語モデルにおいて大きな注目を集めています。
しかし、指導工学の効率は依然として低く、指導学の発展を妨げています。
最近の研究は命令生成の自動化に焦点を当てていますが、主にパフォーマンスの向上を目的としており、命令の長さや複雑さなど、命令の品質に影響を与える他の重要な目標は考慮されていません。
したがって、我々は、命令生成を進化的な多目的最適化問題として扱う新しいアプローチ (つまり、InstOptima) を提案します。
テキスト編集ベースの方法とは対照的に、私たちのアプローチは大規模言語モデル (LLM) を利用して、突然変異やクロスオーバーを含む命令演算子をシミュレートします。
さらに、これらのオペレーターに目的に基づいたメカニズムを導入し、LLM が目的を理解し、生成される命令の品質を向上できるようにします。
実験結果は、微調整パフォーマンスの向上と、高品質な命令の多様なセットの生成を示しています。

要約(オリジナル)

Instruction-based language modeling has received significant attention in pretrained language models. However, the efficiency of instruction engineering remains low and hinders the development of instruction studies. Recent studies have focused on automating instruction generation, but they primarily aim to improve performance without considering other crucial objectives that impact instruction quality, such as instruction length and perplexity. Therefore, we propose a novel approach (i.e., InstOptima) that treats instruction generation as an evolutionary multi-objective optimization problem. In contrast to text edition-based methods, our approach utilizes a large language model (LLM) to simulate instruction operators, including mutation and crossover. Furthermore, we introduce an objective-guided mechanism for these operators, allowing the LLM to comprehend the objectives and enhance the quality of the generated instructions. Experimental results demonstrate improved fine-tuning performance and the generation of a diverse set of high-quality instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google