Sample Design Engineering: An Empirical Study of What Makes Good Downstream Fine-Tuning Samples for LLMs

要約

ChatGPT や LLaMA などの大規模言語モデル (LLM) の急成長分野では、プロンプト エンジニアリング (PE) がプロンプト修正を通じてゼロショット学習またはインコンテキスト学習 (ICL) を促進することで知られています。
しかし、タスク固有の LLM 適応に重要な、下流の微調整のためのサンプル設計の領域は、ほとんど解明されていません。
このペーパーでは、入力、出力、および推論設計を洗練することによって LLM のチューニング後のパフォーマンスを向上させる体系的なアプローチであるサンプル デザイン エンジニアリング (SDE) を紹介します。
私たちは、LLM の下流パフォーマンスに対するさまざまな設計オプションの影響を評価するために、一連のドメイン内 (ID) およびドメイン外 (OOD) 実験を実施し、さまざまな LLM にわたって一貫して保持されるいくつかの興味深いパターンを明らかにしました。
これらの洞察に基づいて、最も効果的なオプションを組み合わせた統合 SDE 戦略を提案し、マルチアスペクト感情分析、イベント抽出、ネストされたエンティティ認識などの複雑な下流タスクにおいて、ヒューリスティック サンプル設計に対する一貫した優位性を検証します。
さらに、LLM 固有のプロンプト/出力の複雑さ、ゼロショット、および ICL 能力の分析により、優れた PE 戦略が常に優れた SDE 戦略につながるとは限らないことが示されています。
コードは https://github.com/beyondguo/LLM-Tuning で入手できます。

要約(オリジナル)

In the burgeoning field of Large Language Models (LLMs) like ChatGPT and LLaMA, Prompt Engineering (PE) is renowned for boosting zero-shot or in-context learning (ICL) through prompt modifications. Yet, the realm of the sample design for downstream fine-tuning, crucial for task-specific LLM adaptation, is largely unexplored. This paper introduces Sample Design Engineering (SDE), a methodical approach to enhancing LLMs’ post-tuning performance by refining input, output, and reasoning designs. We conduct a series of in-domain (ID) and out-of-domain (OOD) experiments to assess the impact of various design options on LLMs’ downstream performance, revealing several intriguing patterns that hold consistently across different LLMs. Based on these insights, we propose an integrated SDE strategy, combining the most effective options, and validate its consistent superiority over heuristic sample designs in complex downstream tasks like multi-aspect sentiment analysis, event extraction, and nested entity recognition. Additionally, analyses of LLMs’ inherent prompt/output perplexity, zero-shot, and ICL abilities illustrate that good PE strategies may not always translate to good SDE strategies. Code available at https://github.com/beyondguo/LLM-Tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google