Steps are all you need: Rethinking STEM Education with Prompt Engineering

要約

ショットおよび思考連鎖プロンプトは、物理学の質問応答タスクに適用した場合に有望であることはほとんどありませんが、LLM に固有の数学的能力の欠如によって制限され、幻覚が起こりやすいです。
専門家混合 (MoE) モデルを類似のプロンプトとともに利用することで、標準 LLM のベースラインと比較した場合にモデルのパフォーマンスが向上していることを示すことができます。
また、これらのプロンプト手法の限界と、それらがモデルのパフォーマンスに与える影響についても調査します。
さらに、私たちは Analological CoT プロンプティングを提案します。これは、小規模なオープンソース モデルが Analological プロンプトを活用できるように設計されたプロンプト手法ですが、おそらく専門家のトレーニング データが不足しているため、これまで苦労していました。

要約(オリジナル)

Few shot and Chain-of-Thought prompting have shown promise when applied to Physics Question Answering Tasks, but are limited by the lack of mathematical ability inherent to LLMs, and are prone to hallucination. By utilizing a Mixture of Experts (MoE) Model, along with analogical prompting, we are able to show improved model performance when compared to the baseline on standard LLMs. We also survey the limits of these prompting techniques and the effects they have on model performance. Additionally, we propose Analogical CoT prompting, a prompting technique designed to allow smaller, open source models to leverage Analogical prompting, something they have struggled with, possibly due to a lack of specialist training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google