Speak Like a Native: Prompting Large Language Models in a Native Style

要約

大規模言語モデル (LLM) を使用したインコンテキスト学習 (ICL) は、多くの自然言語処理タスクに最適な最新ツールとなっています。
ただし、コンテキスト内サンプルのテキスト スタイルが LLM のパフォーマンスにどのような影響を与えるかについては、まだ調査が不十分なままです。
この論文では、コンテキスト内の例を LLM のネイティブ スタイルに合わせることで LLM の推論能力を向上させる、\textbf{AlignedCoT} という名前の斬新で効果的なアプローチを紹介します。「ネイティブ」とは、LLM の固有の特性を指します。
AlignedCoT は ICL メソッドに広く適用できるため、最先端の技術と簡単に組み合わせて LLM のパフォーマンスをさらに向上させることができます。
私たちは、数学的な質問への回答、常識的な推論、文章の理解に関するいくつかのベンチマークについて、広範かつ包括的な実験を実施しています。
経験的な結果は、AlignedCoT が慎重に手作りされたデモよりもパフォーマンスが大幅に向上することを示しています。
具体的には、AlignedCoT を使用すると、マルチステップ推論ベンチマークで慎重に手作りされた CoT と比較して \texttt{gpt-3.5-turbo} で平均 +3.2\% の改善が観察されました。さらに、AlignedCoT を使用して CoT テキスト スタイルを書き換えます。
トレーニング セット。これにより、検索拡張生成のパフォーマンスが 3.6\% 向上します。ソース コードとデータセットは、https://github.com/yangzhch6/AlignedCoT で入手できます。

要約(オリジナル)

In-context learning (ICL) with large language models (LLMs) has become the modern tools of choice for many natural language processing tasks. However, how the text style of in-context examples influences the performance of LLMs still remains under-explored. This paper presents a novel and effective approach, named \textbf{AlignedCoT}, to improve the reasoning capability of LLMs by aligning the in-context examples with the native style of LLMs.”Native” refers to the inherent characteristic of LLMs which can be probed by zero-shot scenarios.AlignedCoT is widely applicable to ICL methods, making it easy to combine with state-of-the-art techniques to further improve the LLMs’ performance. We conduct extensive and comprehensive experiments on several benchmarks on mathematical question-answering, common-sense reasoning, and text understanding. The empirical results demonstrate that our AlignedCoT significantly improves performance over the carefully handcrafted demonstrations. Specifically, with AlignedCoT, we observe an average +3.2\% improvement for \texttt{gpt-3.5-turbo} compared to the carefully handcrafted CoT on multi-step reasoning benchmarks.Furthermore, we use AlignedCoT to rewrite the CoT text style in the training set, which improves the performance of Retrieval Augmented Generation by 3.6\%.The source code and dataset is available at https://github.com/yangzhch6/AlignedCoT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google