Steps are all you need: Rethinking STEM Education with Prompt Engineering

要約

物理学の質問に答えるタスクに適用された場合、ショットやチェーンの促しはほとんど見当たりませんが、LLMSに固有の数学的能力の欠如によって制限されており、幻覚を起こしやすいです。
エキスパート（MOE）モデルの混合物を利用することと、類似のプロンプトとともに、標準のLLMSのベースラインと比較した場合、モデルパフォーマンスの改善を示すことができます。
また、これらのプロンプト技術の限界と、モデルのパフォーマンスに対する影響についても調査します。
さらに、類似のCOTプロンプト、より小さくオープンソースモデルがアナロジープロンプトを活用できるように設計されたプロンプト技術を提案します。

要約(オリジナル)

Few shot and Chain-of-Thought prompting have shown promise when applied to Physics Question Answering Tasks, but are limited by the lack of mathematical ability inherent to LLMs, and are prone to hallucination. By utilizing a Mixture of Experts (MoE) Model, along with analogical prompting, we are able to show improved model performance when compared to the baseline on standard LLMs. We also survey the limits of these prompting techniques and the effects they have on model performance. Additionally, we propose Analogical CoT prompting, a prompting technique designed to allow smaller, open source models to leverage Analogical prompting, something they have struggled with, possibly due to a lack of specialist training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google