Hierarchical Catalogue Generation for Literature Review: A Benchmark

要約

タイトル：Hierarchical Catalogue Generation for Literature Review: A Benchmark
要約：
– 「ヒエラルキカル・カタログ生成タスク（HiCatGLR）」を提案する論文。
– HiCatGLRは、さまざまな参考文献が与えられたレビューペーパーに対して、階層的なカタログを生成することを目的とする。
– 従来のマルチドキュメント科学要約は、明確で論理的な階層を持たない長大な概観を生成することに注力しているため、この問題を緩和するための試みとしてHiCatGLRが提案された。
– HiCaDと呼ばれる13.8kの文献レビューカタログと120kの参考文献から構成される、新しい英語の階層的文献レビューカタログのデータセットを慎重に構築し、エンドツーエンド法とパイプライン法を用いたさまざまな実験をベンチマーク評価する。
– 評価指標を設計し、意味や構造からの真の値との類似性を正確に評価するための評価尺度、また幅広い分析で、データセットの高品質性と評価指標の効果を検証する。
– さらに、このタスクの潜在的な方向性について議論し、将来の研究を促進する。

要約(オリジナル)

Multi-document scientific summarization can extract and organize important information from an abundant collection of papers, arousing widespread attention recently. However, existing efforts focus on producing lengthy overviews lacking a clear and logical hierarchy. To alleviate this problem, we present an atomic and challenging task named Hierarchical Catalogue Generation for Literature Review (HiCatGLR), which aims to generate a hierarchical catalogue for a review paper given various references. We carefully construct a novel English Hierarchical Catalogues of Literature Reviews Dataset (HiCaD) with 13.8k literature review catalogues and 120k reference papers, where we benchmark diverse experiments via the end-to-end and pipeline methods. To accurately assess the model performance, we design evaluation metrics for similarity to ground truth from semantics and structure. Besides, our extensive analyses verify the high quality of our dataset and the effectiveness of our evaluation metrics. Furthermore, we discuss potential directions for this task to motivate future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI