Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

要約

大規模な言語モデル（LLM）は、さまざまなタスクにわたって重要な機能を示しており、実際の効果は迅速な設計によって駆動されることがよくあります。
最近の研究では、迅速なコンテンツの最適化に焦点を当てていますが、重要であるが見過ごされがちな次元である迅速なフォーマットの役割は、限られた体系的な調査を受けています。
このホワイトペーパーでは、コンテンツフォーマット統合プロンプト最適化（CFPO）を紹介します。これは、反復改良プロセスを通じて、プロンプトコンテンツとフォーマットの両方を共同で最適化する革新的な方法論です。
CFPOは、自然言語の変異を活用してコンテンツの変動を調査し、多様な形式オプションを体系的に評価する動的な形式の探索戦略を採用しています。
複数のタスクとオープンソースLLMにわたる広範な評価は、CFPOがコンテンツのみの最適化方法と比較して測定可能なパフォーマンスの改善を実証することを示しています。
これは、統合されたコンテンツフォーマットの最適化の重要性を強調し、LLMパフォーマンスを向上させるための実用的でモデルに依存しないアプローチを提供します。
コードはhttps://github.com/henrylau7/cfpoで入手できます。

要約(オリジナル)

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google