Boosting Self-Efficacy and Performance of Large Language Models via Verbal Efficacy Stimulations

要約

大規模な言語モデル（LLMS）のゼロショット機能で大幅な改善が観察されています。
入力に対する感度が高いため、研究は、複雑なドメイン適応ではなく、直接的でシンプルな迅速なエンジニアリングを介してLLMSのパフォーマンスを向上させることにますます焦点を当てています。
研究は、LLMが感情的な知性を示すことを示唆しており、ポジティブな感情と否定的な感情の両方がタスクのパフォーマンスを潜在的に強化する可能性があることを示唆しています。
ただし、以前の相互作用プロンプトは、主に単一の刺激タイプに集中しており、さまざまな刺激効果を比較したり、さまざまなタスクの難しさの影響を調べたり、基礎となるメカニズムを調査したりすることを怠っています。
この論文は、社会的認知理論における自己効力感とタスクのパフォーマンスとの正の相関に触発され、言葉による有効性刺激（VES）を導入します。
私たちのVESは、3種類の口頭プロンプトで構成されています。励まし、挑発的、批判的で、有用性や能力などの6つの側面に対処します。
また、さまざまなレベルの難易度で言語モデルの自己効力感とタスクの成果にどのように影響するかを広く調査することを目指して、タスクの難易度をさらに分類します。
実験結果は、3種類のVEがほとんどのタスクでのLLMのパフォーマンスを改善し、最も効果的なVEはモデルによって異なることを示しています。
広範な実験では、心理的理論と一致するいくつかの発見を得て、将来の研究のための新しい洞察を提供しました。

要約(オリジナル)

Significant improvements have been observed in the zero-shot capabilities of the Large Language Models (LLMs). Due to their high sensitivity to input, research has increasingly focused on enhancing LLMs’ performance via direct and simple prompt engineering rather than intricate domain adaptation. Studies suggest that LLMs exhibit emotional intelligence, and both positive and negative emotions can potentially enhance task performances. However, prior interaction prompts have predominantly concentrated on a single stimulus type, neglecting to compare different stimulus effects, examine the influence of varying task difficulties, or explore underlying mechanisms. This paper, inspired by the positive correlation between self-efficacy and task performance within the social cognitive theory, introduces Verbal Efficacy Stimulations (VES). Our VES comprises three types of verbal prompts: encouraging, provocative, and critical, addressing six aspects such as helpfulness and competence. And we further categorize task difficulty, aiming to extensively investigate how distinct VES influence the self-efficacy and task achievements of language models at varied levels of difficulty. The experimental results show that the three types of VES improve the performance of LLMs on most tasks, and the most effective VES varies for different models. In extensive experiments, we have obtained some findings consistent with psychological theories, providing novel insights for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google