Towards LLMs Robustness to Changes in Prompt Format Styles

要約

大規模な言語モデル（LLM）は、近年、さまざまなアプリケーションでのユーティリティで人気を博しています。
ただし、これらはプロンプト形式の非セマンチックな変化に敏感であり、プロンプト形式の小さな変化は大きなパフォーマンスの変動につながる可能性があります。
文献では、この問題は一般に迅速なbrittlenessと呼ばれています。
迅速なエンジニアリングに関する以前の研究では、主に特定のタスクに最適なプロンプトを特定するための技術の開発に焦点を当てています。
いくつかの研究では、迅速なbrittlenessの問題と、パフォーマンスの変動を定量化するための提案された方法も調査しています。
ただし、この課題に対処するための簡単なソリューションは見つかりませんでした。
フォーマット（MOF）の混合物を提案します。これは、迅速な少ないショットの例で使用されるスタイルを多様化することにより、LLMSの迅速な脆性性に対処するためのシンプルで効率的な手法です。
MOFは、多様なスタイルのデータセットを利用して、モデルが特定のスタイルをターゲット変数に関連付けないようにするコンピュータービジョン技術に触発されました。
経験的な結果は、提案された手法により、さまざまなLLMでスタイル誘発された迅速なbrittle性を減らしながら、迅速なバリエーションやさまざまなデータセット全体の全体的なパフォーマンスを向上させることを示しています。

要約(オリジナル)

Large language models (LLMs) have gained popularity in recent years for their utility in various applications. However, they are sensitive to non-semantic changes in prompt formats, where small changes in the prompt format can lead to significant performance fluctuations. In the literature, this problem is commonly referred to as prompt brittleness. Previous research on prompt engineering has focused mainly on developing techniques for identifying the optimal prompt for specific tasks. Some studies have also explored the issue of prompt brittleness and proposed methods to quantify performance variations; however, no simple solution has been found to address this challenge. We propose Mixture of Formats (MOF), a simple and efficient technique for addressing prompt brittleness in LLMs by diversifying the styles used in the prompt few-shot examples. MOF was inspired by computer vision techniques that utilize diverse style datasets to prevent models from associating specific styles with the target variable. Empirical results show that our proposed technique reduces style-induced prompt brittleness in various LLMs while also enhancing overall performance across prompt variations and different datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google