Crafting a Good Prompt or Providing Exemplary Dialogues? A Study of In-Context Learning for Persona-based Dialogue Generation

要約

これまでのインコンテキスト学習 (ICL) 研究は、分類、機械翻訳、text2table などのタスクに焦点を当ててきましたが、ICL が人間のような対話生成を改善できるかどうかに関する研究はほとんどありません。
私たちの研究では、ペルソナベースの対話生成における大規模言語モデル (LLM) の ICL 機能を体系的に調査し、高品質の実際の人間の中国語対話データセットで広範な実験を行うことで、このギャップを埋めています。
実験結果から、我々は 3 つの結論を導き出します。1) プロンプト指示を調整することが、生成品質を向上させる最も直接的、効果的、経済的な方法です。
2) デモンストレーション (デモ) をランダムに取得すると、最良の結果が得られます。これはおそらく、有効な情報の多様性と量が大きいためです。
直観に反しますが、クエリと同じコンテキストを持つデモを取得すると、パフォーマンスが最悪になります。
3) デモ内のマルチターンの関連付けとシングルターンのセマンティクスを破壊した場合でも、デモの数を増やすと対話のパフォーマンスが向上し、LLM が破損した対話のデモから学習できることが証明されました。
$n$-gram誘導ヘッドなどのICL機構に関するこれまでの説明では、この現象を完全に説明することはできません。

要約(オリジナル)

Previous in-context learning (ICL) research has focused on tasks such as classification, machine translation, text2table, etc., while studies on whether ICL can improve human-like dialogue generation are scarce. Our work fills this gap by systematically investigating the ICL capabilities of large language models (LLMs) in persona-based dialogue generation, conducting extensive experiments on high-quality real human Chinese dialogue datasets. From experimental results, we draw three conclusions: 1) adjusting prompt instructions is the most direct, effective, and economical way to improve generation quality; 2) randomly retrieving demonstrations (demos) achieves the best results, possibly due to the greater diversity and the amount of effective information; counter-intuitively, retrieving demos with a context identical to the query performs the worst; 3) even when we destroy the multi-turn associations and single-turn semantics in the demos, increasing the number of demos still improves dialogue performance, proving that LLMs can learn from corrupted dialogue demos. Previous explanations of the ICL mechanism, such as $n$-gram induction head, cannot fully account for this phenomenon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google