Self-seeding and Multi-intent Self-instructing LLMs for Generating Intent-aware Information-Seeking dialogs

要約

情報を求めるダイアログでユーザーの意図を特定することは、システムがユーザーの情報ニーズを満たすために重要です。
意図予測（IP）は挑戦的であり、トレーニングのための人間に標識された意図を持つ十分な対話を要求します。
ただし、意図を手動で注視することはリソース集約型です。
大規模な言語モデル（LLM）は合成データの生成に効果的であることが示されていますが、LLMを使用して意図的な情報を求めるダイアログを生成する研究はありません。
この論文では、大規模、オープンドメイン、意図的な情報を求めるダイアログのゼロショット生成のためのLLMの活用に焦点を当てています。
私たちは、斬新な自己注入と多様性の自己導入スキームを備えたSolidを提案します。
前者は、LLM独自の知識範囲を使用してダイアログ生成を開始することにより、生成品質を向上させます。
後者は、LLMに発話を順番に生成するよう促し、複雑なマルチインテント発話を生成するときにLLMに迅速な指示を自律的に適応させるように依頼することにより、手動迅速な設計の必要性を軽減します。
さらに、Solid-RLを提案します。これは、Solidによって生成されたデータの1つのステップでダイアログを生成するためにさらに訓練されています。
固体RLのトレーニングプロセス中の品質に基づいて、さまざまな重みを固体生成ダイアログに割り当てるための長さベースの品質推定メカニズムを提案します。
既存のデータセットのサイズを超えて、SolidおよびSolid-RLを使用して30万を超える意図的なダイアログを生成します。
実験では、SolidおよびSolid-RLによって生成されたダイアログでトレーニングされたIPメソッドが、人間が生成したダイアログでトレーニングされたダイアログよりも優れたIP品質を達成することを示しています。

要約(オリジナル)

Identifying user intents in information-seeking dialogs is crucial for a system to meet user’s information needs. Intent prediction (IP) is challenging and demands sufficient dialogs with human-labeled intents for training. However, manually annotating intents is resource-intensive. While large language models (LLMs) have been shown to be effective in generating synthetic data, there is no study on using LLMs to generate intent-aware information-seeking dialogs. In this paper, we focus on leveraging LLMs for zero-shot generation of large-scale, open-domain, and intent-aware information-seeking dialogs. We propose SOLID, which has novel self-seeding and multi-intent self-instructing schemes. The former improves the generation quality by using the LLM’s own knowledge scope to initiate dialog generation; the latter prompts the LLM to generate utterances sequentially, and mitigates the need for manual prompt design by asking the LLM to autonomously adapt its prompt instruction when generating complex multi-intent utterances. Furthermore, we propose SOLID-RL, which is further trained to generate a dialog in one step on the data generated by SOLID. We propose a length-based quality estimation mechanism to assign varying weights to SOLID-generated dialogs based on their quality during the training process of SOLID-RL. We use SOLID and SOLID-RL to generate more than 300k intent-aware dialogs, surpassing the size of existing datasets. Experiments show that IP methods trained on dialogs generated by SOLID and SOLID-RL achieve better IP quality than ones trained on human-generated dialogs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google