Post Hoc Explanations of Language Models Can Improve Language Models

要約

大規模言語モデル (LLM) は、複雑なタスクを実行する際に優れた機能を実証しています。
さらに、最近の研究では、コンテキスト学習中に人間による注釈付きの根拠 (思考連鎖プロンプトなど) を組み込むと、特に推論能力を必要とするタスクにおいて、これらのモデルのパフォーマンスが大幅に向上することが示されています。
ただし、このような理論的根拠を組み込むには、高度な人間の関与が必要となるため、スケーラビリティの点で課題が生じます。
この研究では、根拠生成プロセスを自動化することで前述の課題に対処する、新しいフレームワークである Amplifying Model Performance by Leveraging In-Context Learning with Post Hoc Explains (AMPLIFY) を紹介します。
この目的を達成するために、モデル予測に対する各入力特徴の影響を捉えた属性スコア (説明) を出力する事後説明メソッドを活用します。
より具体的には、事後説明からの洞察を埋め込む自動化された自然言語理論的根拠を構築し、LLM に修正シグナルを提供します。
実世界のデータセットを使った広範な実験により、私たちのフレームワークである AMPLIFY が、Chain-of-
思考の促進は不十分です。
私たちの研究は、LLM の有効性を高めるための貴重なツールとして事後説明の可能性を強調する最初の試みの 1 つです。
さらに、追加の実証分析とアブレーション研究を実施して、AMPLIFY の各コンポーネントの影響を実証します。これにより、コンテキスト内学習を洗練するための重要な洞察が得られます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable capabilities in performing complex tasks. Moreover, recent research has shown that incorporating human-annotated rationales (e.g., Chain-of-Thought prompting) during in-context learning can significantly enhance the performance of these models, particularly on tasks that require reasoning capabilities. However, incorporating such rationales poses challenges in terms of scalability as this requires a high degree of human involvement. In this work, we present a novel framework, Amplifying Model Performance by Leveraging In-Context Learning with Post Hoc Explanations (AMPLIFY), which addresses the aforementioned challenges by automating the process of rationale generation. To this end, we leverage post hoc explanation methods which output attribution scores (explanations) capturing the influence of each of the input features on model predictions. More specifically, we construct automated natural language rationales that embed insights from post hoc explanations to provide corrective signals to LLMs. Extensive experimentation with real-world datasets demonstrates that our framework, AMPLIFY, leads to prediction accuracy improvements of about 10-25% over a wide range of tasks, including those where prior approaches which rely on human-annotated rationales such as Chain-of-Thought prompting fall short. Our work makes one of the first attempts at highlighting the potential of post hoc explanations as valuable tools for enhancing the effectiveness of LLMs. Furthermore, we conduct additional empirical analyses and ablation studies to demonstrate the impact of each of the components of AMPLIFY, which, in turn, leads to critical insights for refining in-context learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google