Multi-Review Fusion-in-Context

要約

長文の質問への回答や要約などのタスクを含む、根拠のあるテキストの生成には、コンテンツの選択とコンテンツの統合の両方が必要です。
現在のエンドツーエンドの方法は、不透明であるため、制御と解釈が困難です。
したがって、最近の研究では、各ステップに個別のコンポーネントを使用するモジュール式アプローチが提案されています。
具体的には、複数ドキュメント設定で事前に選択されたコンテンツを与えて一貫したテキストを生成する 2 番目のサブタスクに焦点を当てます。
具体的には、\textit{Fusion-in-Context} (FiC) をスタンドアロン タスクとして形式化します。その入力は、ターゲット コンテンツの強調表示されたスパンを含むソース テキストで構成されます。
次にモデルは、ターゲット情報のみをすべて含む一貫した文章を生成する必要があります。
私たちの仕事には、人間の判断と強く相関するハイライトの忠実性と網羅性を評価するための新しい評価フレームワークと並行して、レビュー領域で厳選された 1,000 件のデータセットの開発が含まれます。
いくつかのベースライン モデルは有望な結果を示し、洞察力に富んだ分析を提供します。
この研究は、複数ドキュメント設定におけるモジュール式テキスト生成のさらなる探究のための基礎を築き、生成されるコンテンツの品質と信頼性の潜在的な改善を提供します。
\footnote{データセット、評価フレームワーク、指定されたリーダーボードを含む当社のベンチマーク FuseReviews は、\url{https://fusereviews.github.io/} でご覧いただけます。}

要約(オリジナル)

Grounded text generation, encompassing tasks such as long-form question-answering and summarization, necessitates both content selection and content consolidation. Current end-to-end methods are difficult to control and interpret due to their opaqueness. Accordingly, recent works have proposed a modular approach, with separate components for each step. Specifically, we focus on the second subtask, of generating coherent text given pre-selected content in a multi-document setting. Concretely, we formalize \textit{Fusion-in-Context} (FiC) as a standalone task, whose input consists of source texts with highlighted spans of targeted content. A model then needs to generate a coherent passage that includes all and only the target information. Our work includes the development of a curated dataset of 1000 instances in the reviews domain, alongside a novel evaluation framework for assessing the faithfulness and coverage of highlights, which strongly correlate to human judgment. Several baseline models exhibit promising outcomes and provide insightful analyses. This study lays the groundwork for further exploration of modular text generation in the multi-document setting, offering potential improvements in the quality and reliability of generated content. \footnote{Our benchmark, FuseReviews, including the dataset, evaluation framework and designated leaderboard, can be found at \url{https://fusereviews.github.io/}.}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google