Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together

要約

自然言語処理 (NLP) システムは、検索拡張生成 (RAG) などの洗練されたモジュール式パイプラインの形式を採用することが増えており、各モジュールには個別の言語モデル (LM) と関連するプロンプト テンプレートが含まれる場合があります。
これらの化合物システムには、各モジュールを最適化するための中間ラ​​ベルやグラジエント フローが欠けていることが多く、エンドツーエンドの最適化が困難になります。
ここでは、モジュールレベルの LM 重みと、そのようなシステムの関連するプロンプト テンプレートの両方を最適化して、下流のタスク メトリックを最大化する戦略を模索します。
私たちは、重み付け最適化戦略とプロンプト最適化戦略を組み合わせて、この 2 つを交互に実行して同じ LM 自体に学習させることでモジュール式 LM パイプラインを最適化することを初めて提案します。
mistral-7b、llama-2-7b、llama-3-8b を使用したマルチホップ QA、数学的推論、および特徴ベースの分類の実験では、パイプラインの重みとプロンプトを一緒に最適化するこれらの BetterTogether 戦略は、重みを直接最適化するよりも優れたパフォーマンスを発揮します。
LM とタスク全体の平均で、単独とプロンプト単独はそれぞれ最大 60% と 6% 増加しました。
BetterTogether オプティマイザーは DSPy (http://dspy.ai) でリリースされています。

要約(オリジナル)

Natural Language Processing (NLP) systems are increasingly taking the form of sophisticated modular pipelines, e.g., Retrieval Augmented Generation (RAG), where each module may involve a distinct Language Model (LM) and an associated prompt template. These compound systems often lack intermediate labels or gradient flow to optimize each module, making their end-to-end optimization challenging. Here we seek strategies to optimize both the module-level LM weights and the associated prompt templates of such systems to maximize a downstream task metric. We propose for the first time combining the weight and prompt optimization strategies to optimize a modular LM pipeline by alternating between the two to get the same LM to teach itself. In experiments with multi-hop QA, mathematical reasoning, and feature-based classification using mistral-7b, llama-2-7b, and llama-3-8b, these BetterTogether strategies optimizing the weights and prompts of a pipeline together outperform directly optimizing weights alone and prompts alone by up to 60% and 6%, respectively, on average across LMs and tasks. BetterTogether optimizer is released in DSPy at http://dspy.ai

arxiv情報

提供元, 利用サービス

arxiv.jp, Google