q2d: Turning Questions into Dialogs to Teach Models How to Search

要約

タイトル：q2d：モデルが検索する方法を教えるために質問を対話に変換する

要約：

– 質問応答の最近の言語モデルの興味深い能力の1つは、与えられた対話応答を根拠付けるために、独自に関連する情報を検索することができることである。
– ただし、モデルが検索クエリを発行する方法を教えるためのトレーニングデータを取得することは、時間とリソースがかかります。
– この研究では、人工的に情報を探し出す対話を生成する自動データ生成パイプライン「q2d」を提案している。
– 質問応答データセットの対話形式を大量の言語モデル（PaLM）に提示し、外部検索APIと対話応答を根拠付けするクエリ生成モデルを改良するために使用する。
– 以前の手法が、検索クエリを含む人間が書いたダイアログに依存していたのに対し、この方法は、自動的にクエリベースの検索済みのダイアログをより良い制御とスケールで生成できるようになりました。
– 実験の結果、次のことが示されました。
1.人工的に生成されたデータでトレーニングされたモデルは、QReCCデータセットのクエリ生成において、人間によって生成されたデータでトレーニングされたモデルの90％〜97％の性能を発揮する。
2.既存の対話データがない場合でも、新しいドメインの対話モデルのデータを生成できる。
3.生成されたダイアログについて詳細に分析し、人間はそれらを高品質とみなし、人間によって書かれたダイアログと区別するのが難しいことが示されました。

要約(オリジナル)

One of the exciting capabilities of recent language models for dialog is their ability to independently search for relevant information to ground a given dialog response. However, obtaining training data to teach models how to issue search queries is time and resource consuming. In this work, we propose q2d: an automatic data generation pipeline that generates information-seeking dialogs from questions. We prompt a large language model (PaLM) to create conversational versions of question answering datasets, and use it to improve query generation models that communicate with external search APIs to ground dialog responses. Unlike previous approaches which relied on human written dialogs with search queries, our method allows to automatically generate query-based grounded dialogs with better control and scale. Our experiments demonstrate that: (1) For query generation on the QReCC dataset, models trained on our synthetically-generated data achieve 90%–97% of the performance of models trained on the human-generated data; (2) We can successfully generate data for training dialog models in new domains without any existing dialog data as demonstrated on the multi-hop MuSiQue and Bamboogle QA datasets. (3) We perform a thorough analysis of the generated dialogs showing that humans find them of high quality and struggle to distinguish them from human-written dialogs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI