ChatQA: Building GPT-4 Level Conversational QA Models

要約

この研究では、GPT-4 レベルの精度を取得する会話型質問応答 (QA) モデルのファミリーである ChatQA を紹介します。
具体的には、大規模言語モデル (LLM) からのゼロショット会話型 QA 結果を大幅に改善できる 2 段階の命令チューニング方法を提案します。
会話型 QA での取得を処理するために、マルチターン QA データセットで密な取得を微調整します。これにより、導入コストを大幅に削減しながら、最先端のクエリ書き換えモデルを使用した場合と同等の結果が得られます。
特に、ChatQA-70B は、OpenAI GPT モデルからの合成データに依存せずに、10 の会話型 QA データセットの平均スコア (54.14 対 53.90) の点で GPT-4 を上回っています。

要約(オリジナル)

In this work, we introduce ChatQA, a family of conversational question answering (QA) models, that obtain GPT-4 level accuracies. Specifically, we propose a two-stage instruction tuning method that can significantly improve the zero-shot conversational QA results from large language models (LLMs). To handle retrieval in conversational QA, we fine-tune a dense retriever on a multi-turn QA dataset, which provides comparable results to using the state-of-the-art query rewriting model while largely reducing deployment cost. Notably, our ChatQA-70B can outperform GPT-4 in terms of average score on 10 conversational QA datasets (54.14 vs. 53.90), without relying on any synthetic data from OpenAI GPT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google