Multi-hop Question Answering

要約

質問応答 (QA) というタスクは、長い間大きな研究の関心を集めてきました。
QA のタスクは、言語理解および知識検索タスクとの関連性が高く、設定が簡単であるため、強力な AI システムにとって重要です。
最近は単純な QA タスクが成功したため、焦点はより複雑な設定に移ってきました。
その中でも、マルチホップ QA (MHQA) は、近年最も研究されているタスクの 1 つです。
大まかに言えば、MHQA は、複数の情報を抽出して結合し、複数の推論ステップを実行することを含む自然言語の質問に答えるタスクです。
マルチホップの質問の例としては、「アルゼンチンの PGA チャンピオンシップ記録保持者は、世界中のトーナメントで何回優勝していますか?」などがあります。
この質問に答えるには、「アルゼンチンの PGA チャンピオンシップ トーナメントの記録保持者は誰ですか?」という 2 つの情報が必要です。
「[サブ Q1 の答え] はトーナメントで何回優勝しましたか?」
マルチホップの質問に答え、複数ステップの推論を実行できる機能により、NLP システムの有用性が大幅に向上します。
その結果、この分野では高品質のデータセット、モデル、評価戦略が急増しています。
「マルチホップ」の概念はやや抽象的であり、その結果、マルチホップ推論を必要とする多種多様なタスクが発生します。
このため、互いに大きく異なるさまざまなデータセットやモデルが生成され、この分野を一般化して調査することが困難になります。
私たちは、MHQA タスクの一般的かつ正式な定義を提供し、既存の MHQA フレームワークを整理して要約することを目的としています。
また、MHQA データセットを構築するためのいくつかのベスト プラクティスについても概説します。
本書は、この非常に興味深く、しかし非常に困難な課題に対する既存の試みを体系的かつ徹底的に紹介し、構造化するものです。

要約(オリジナル)

The task of Question Answering (QA) has attracted significant research interest for long. Its relevance to language understanding and knowledge retrieval tasks, along with the simple setting makes the task of QA crucial for strong AI systems. Recent success on simple QA tasks has shifted the focus to more complex settings. Among these, Multi-Hop QA (MHQA) is one of the most researched tasks over the recent years. In broad terms, MHQA is the task of answering natural language questions that involve extracting and combining multiple pieces of information and doing multiple steps of reasoning. An example of a multi-hop question would be ‘The Argentine PGA Championship record holder has won how many tournaments worldwide?’. Answering the question would need two pieces of information: ‘Who is the record holder for Argentine PGA Championship tournaments?’ and ‘How many tournaments did [Answer of Sub Q1] win?’. The ability to answer multi-hop questions and perform multi step reasoning can significantly improve the utility of NLP systems. Consequently, the field has seen a surge with high quality datasets, models and evaluation strategies. The notion of ‘multiple hops’ is somewhat abstract which results in a large variety of tasks that require multi-hop reasoning. This leads to different datasets and models that differ significantly from each other and makes the field challenging to generalize and survey. We aim to provide a general and formal definition of the MHQA task, and organize and summarize existing MHQA frameworks. We also outline some best practices for building MHQA datasets. This book provides a systematic and thorough introduction as well as the structuring of the existing attempts to this highly interesting, yet quite challenging task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google