Towards Generalist Prompting for Large Language Models by Mental Models

要約

大規模言語モデル (LLM) は、多くのタスクで優れたパフォーマンスを実証しています。
ただし、最適なパフォーマンスを達成するには、特別に設計されたプロンプト方法が依然として必要です。
これらの方法は、特定のレベルのドメイン知識を必要とするタスク固有の少数ショットの例に依存するか、単純ではあるが少数の種類のタスクでのみ適切に実行されるように設計されています。
この研究では、特定の問題に合わせたプロンプトの手動選択やカスタマイズの必要性を排除しながら、幅広いタスクで最適または最適に近いパフォーマンスを達成するという設計原則に基づいて動作するジェネラリスト プロンプトの概念を導入しようとします。
さらに、シンプルな設計でありながらジェネラリストプロンプトの基準を効果的に満たす革新的なプロンプト方法である MeMo (メンタルモデル) を提案します。
MeMo は、さまざまなプロンプト手法の中核を個々のメンタル モデルに抽出し、LLM が問題に対して最適なメンタル モデルを自律的に選択できるようにし、STEM、論理的推論などのさまざまなタスクで最先端の結果を達成、またはそれに近い結果を得ることができます。
、ゼロショット設定での常識的な推論。
ここで提示された洞察が、LLM のジェネラリスト促進方法のさらなる探求を刺激することを願っています。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive performance on many tasks. However, to achieve optimal performance, specially designed prompting methods are still needed. These methods either rely on task-specific few-shot examples that require a certain level of domain knowledge, or are designed to be simple but only perform well on a few types of tasks. In this work, we attempt to introduce the concept of generalist prompting, which operates on the design principle of achieving optimal or near-optimal performance on a wide range of tasks while eliminating the need for manual selection and customization of prompts tailored to specific problems. Furthermore, we propose MeMo (Mental Models), an innovative prompting method that is simple-designed yet effectively fulfills the criteria of generalist prompting. MeMo distills the cores of various prompting methods into individual mental models and allows LLMs to autonomously select the most suitable mental models for the problem, achieving or being near to the state-of-the-art results on diverse tasks such as STEM, logical reasoning, and commonsense reasoning in zero-shot settings. We hope that the insights presented herein will stimulate further exploration of generalist prompting methods for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google