Large Language Models Might Not Care What You Are Saying: Prompt Format Beats Descriptions

要約

インコンテキスト学習 (ICL) の助けにより、大規模言語モデル (LLM) はさまざまなタスクにわたって優れたパフォーマンスを達成しました。
ただし、ICL 中の記述的指示の機能はまだ十分に研究されていません。
この研究では、コンテキスト内の複数の例の選択基準を記述するアンサンブル プロンプト フレームワークを提案し、6 つの翻訳方向にわたる機械翻訳 (MT) の予備実験により、このフレームワークが ICL のパフォーマンスを向上させることが確認されました。
しかし、驚いたことに、LLM は説明が実際に何を言っているかを必ずしも気にしない可能性があり、フレームワークはランダムな説明名詞であっても改善につながる可能性があるため、パフォーマンスの向上は主にアンサンブル形式によって引き起こされます。
さらに、この新しいアンサンブル プロンプトを、3 つの LLM を使用して常識、数学、論理的推論、幻覚タスクの範囲に適用し、有望な結果を達成しました。これは、適切なプロンプト形式を設計する方が、特定の説明に労力を費やすよりもはるかに効果的かつ効率的であることを再度示唆しています。
この論文が出版され次第、私たちのコードは一般公開される予定です。

要約(オリジナル)

With the help of in-context learning (ICL), large language models (LLMs) have achieved impressive performance across various tasks. However, the function of descriptive instructions during ICL remains under-explored. In this work, we propose an ensemble prompt framework to describe the selection criteria of multiple in-context examples, and preliminary experiments on machine translation (MT) across six translation directions confirm that this framework boosts ICL perfromance. But to our surprise, LLMs might not necessarily care what the descriptions actually say, and the performance gain is primarily caused by the ensemble format, since the framework could lead to improvement even with random descriptive nouns. We further apply this new ensemble prompt on a range of commonsense, math, logical reasoning and hallucination tasks with three LLMs and achieve promising results, suggesting again that designing a proper prompt format would be much more effective and efficient than paying effort into specific descriptions. Our code will be publicly available once this paper is published.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google