Evaluating and Modeling Attribution for Cross-Lingual Question Answering

要約

信頼できる回答コンテンツは多くの高リソース言語で豊富に提供されており、質問応答システムを通じて即座にアクセスできますが、これらの言語を話さない人にとっては、このコンテンツにアクセスするのが難しい場合があります。
生成言語モデルによって提供される言語間のモデリング品質の飛躍的な進歩には多くの期待が寄せられていますが、その生の生成は事実に達していないことがよくあります。
これらのシステムの信頼性を向上させるための有望な方向性は、回答を検索されたソース (おそらくクエリとは異なるコンテンツ豊富な言語) に帰属させることです。
私たちの研究は、言語を超えた質問応答のための帰属を研究する最初の研究です。
まず、最先端の言語を超えた QA システムの帰属レベルを評価するために 5 つの言語でデータを収集します。
驚いたことに、システムは取得したテキストに直接対応できるにもかかわらず、回答のかなりの部分が取得した文章に起因しないことがわかりました (ゴールド リファレンスと正確に一致する回答の最大 50%)。
次に、この貧弱なアトリビューション レベルに対処するために、幅広いアトリビューション検出手法を実験します。
非常に少量の属性データに基づいて微調整された自然言語推論モデルと PaLM 2 が、属性を正​​確に検出できることがわかりました。
これらのモデルに基づいて、言語を超えた質問応答システムの帰属レベルを向上させます。
全体として、現在の学術生成型クロスリンガル QA システムにはアトリビューションに重大な欠点があることを示し、これらの問題を軽減するツールを構築します。

要約(オリジナル)

Trustworthy answer content is abundant in many high-resource languages and is instantly accessible through question answering systems, yet this content can be hard to access for those that do not speak these languages. The leap forward in cross-lingual modeling quality offered by generative language models offers much promise, yet their raw generations often fall short in factuality. To improve trustworthiness in these systems, a promising direction is to attribute the answer to a retrieved source, possibly in a content-rich language different from the query. Our work is the first to study attribution for cross-lingual question answering. First, we collect data in 5 languages to assess the attribution level of a state-of-the-art cross-lingual QA system. To our surprise, we find that a substantial portion of the answers is not attributable to any retrieved passages (up to 50% of answers exactly matching a gold reference) despite the system being able to attend directly to the retrieved text. Second, to address this poor attribution level, we experiment with a wide range of attribution detection techniques. We find that Natural Language Inference models and PaLM 2 fine-tuned on a very small amount of attribution data can accurately detect attribution. Based on these models, we improve the attribution level of a cross-lingual question-answering system. Overall, we show that current academic generative cross-lingual QA systems have substantial shortcomings in attribution and we build tooling to mitigate these issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google