要約
長文質問応答システムは、オプションの背景情報や補助情報を含む段落レベルの回答を提示することにより、豊富な情報を提供します。
このような包括的な回答は役に立ちますが、質問に答えるためにすべての情報が必要なわけではありません (たとえば、ドメインの知識があるユーザーは背景の説明を必要としません)。
質問に対処しながら、回答を要約して簡潔なバージョンを提供できますか?
私たちは、最先端のモデルと新しく提案された抽出および脱文脈化アプローチから生成された要約された回答についてユーザー調査を実施します。
ELI5 ドメインの長文回答の大部分 (90% 以上) は少なくとも 1 つのシステムで適切に要約できる一方、複雑で暗黙的な回答は圧縮が困難であることがわかりました。
脱文脈化により抽出要約の品質が向上することが観察され、要約タスクにおけるその可能性が実証されています。
今後の研究を促進するために、1K の長文回答とユーザー調査の注釈をカバーする抽出的な要約データセットを提供します。
一緒に、長い形式の回答の要約に関する最初の研究を紹介し、複数の粒度で回答を提供できる QA エージェントにとって一歩前進です。
要約(オリジナル)
Long-form question answering systems provide rich information by presenting paragraph-level answers, often containing optional background or auxiliary information. While such comprehensive answers are helpful, not all information is required to answer the question (e.g. users with domain knowledge do not need an explanation of background). Can we provide a concise version of the answer by summarizing it, while still addressing the question? We conduct a user study on summarized answers generated from state-of-the-art models and our newly proposed extract-and-decontextualize approach. We find a large proportion of long-form answers (over 90%) in the ELI5 domain can be adequately summarized by at least one system, while complex and implicit answers are challenging to compress. We observe that decontextualization improves the quality of the extractive summary, exemplifying its potential in the summarization task. To promote future work, we provide an extractive summarization dataset covering 1K long-form answers and our user study annotations. Together, we present the first study on summarizing long-form answers, taking a step forward for QA agents that can provide answers at multiple granularities.
arxiv情報
| 著者 | Abhilash Potluri,Fangyuan Xu,Eunsol Choi |
| 発行日 | 2023-05-30 17:59:33+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google