A Sentiment Consolidation Framework for Meta-Review Generation

要約

大規模言語モデル (LLM) を備えた最新の自然言語生成システムは、複数の文書のもっともらしい要約を生成する機能を備えています。
ただし、特に意見の多い情報を含む文書に関して、要約を生成するための情報統合機能が本当に備わっているかどうかは不明です。
私たちは、科学分野のセンチメント要約の一形態であるメタレビューの生成に焦点を当てています。
科学的な感情の要約をより根拠のあるものにするために、人間のメタレビュー担当者は感情統合の 3 層のフレームワークに従ってメタレビューを書いていると仮説を立てます。
このフレームワークに基づいて、LLM がメタレビューを生成するための新しい促進方法と、生成されたメタレビューの品質を評価するための評価指標を提案します。
私たちのフレームワークは経験的に検証されており、フレームワークに基づいて LLM にプロンプ​​トを表示する方が、単純な指示で LLM にプロンプ​​トを表示する場合と比較して、より良いメタレビューを生成できることがわかっています。

要約(オリジナル)

Modern natural language generation systems with Large Language Models (LLMs) exhibit the capability to generate a plausible summary of multiple documents; however, it is uncertain if they truly possess the capability of information consolidation to generate summaries, especially on documents with opinionated information. We focus on meta-review generation, a form of sentiment summarisation for the scientific domain. To make scientific sentiment summarization more grounded, we hypothesize that human meta-reviewers follow a three-layer framework of sentiment consolidation to write meta-reviews. Based on the framework, we propose novel prompting methods for LLMs to generate meta-reviews and evaluation metrics to assess the quality of generated meta-reviews. Our framework is validated empirically as we find that prompting LLMs based on the framework — compared with prompting them with simple instructions — generates better meta-reviews.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google