Scenarios and Approaches for Situated Natural Language Explanations

要約

大規模言語モデル (LLM) を使用して、さまざまなユーザーの状況に適応する自然言語説明 (NLE) を生成できます。
しかし、そのような適応の程度の定量的な評価はまだありません。
このギャップを埋めるために、私たちはベンチマーク データセットであるシチュエーションベースの説明を収集します。
このデータセットには 100 個の説明が含まれています。
各説明文は、教育者、学生、専門家など、3 つの異なる聴衆タイプを対象とした説明と対になっており、説明がこれらの多様なグループの特定の情報ニーズとコンテキストをどの程度満たしているかを評価できるようになります。
生徒、教師、保護者。
「説明と聴衆を組み合わせた」状況ごとに、人間が書いた説明が含まれています。
これらにより、LLM が説明を状況にどのように適応させるかを定量化するスコアを計算できます。
さまざまなサイズの事前トレーニング済み言語モデルの配列について、ルールベースのプロンプト、メタプロンプト、およびコンテキスト内学習プロンプトの 3 つのカテゴリのプロンプト方法を調べます。
我々は、1) 言語モデルは、対象の状況により正確に合わせた説明をもたらすプロンプトを生成できる、2) 「あなたは役に立つアシスタントです…」というプロンプトによって「アシスタント」のペルソナを明示的にモデル化することは、必要なプロンプト手法ではない、ということを発見しました。
状況に応じた NLE タスク、および 3) コンテキスト内学習プロンプトは、LLM がデモンストレーション テンプレートを学習するのに役立つだけで、推論パフォーマンスを向上させることはできません。
SBE と私たちの分析は、状況に応じた自然言語説明の生成に向けた将来の研究を促進します。

要約(オリジナル)

Large language models (LLMs) can be used to generate natural language explanations (NLE) that are adapted to different users’ situations. However, there is yet to be a quantitative evaluation of the extent of such adaptation. To bridge this gap, we collect a benchmarking dataset, Situation-Based Explanation. This dataset contains 100 explanandums. Each explanandum is paired with explanations targeted at three distinct audience types-such as educators, students, and professionals-enabling us to assess how well the explanations meet the specific informational needs and contexts of these diverse groups e.g. students, teachers, and parents. For each ‘explanandum paired with an audience’ situation, we include a human-written explanation. These allow us to compute scores that quantify how the LLMs adapt the explanations to the situations. On an array of pretrained language models with varying sizes, we examine three categories of prompting methods: rule-based prompting, meta-prompting, and in-context learning prompting. We find that 1) language models can generate prompts that result in explanations more precisely aligned with the target situations, 2) explicitly modeling an ‘assistant’ persona by prompting ‘You are a helpful assistant…’ is not a necessary prompt technique for situated NLE tasks, and 3) the in-context learning prompts only can help LLMs learn the demonstration template but can’t improve their inference performance. SBE and our analysis facilitate future research towards generating situated natural language explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google