What’s Wrong? Refining Meeting Summaries with LLM Feedback

要約

デジタル会議が一般的になって以来、会議の要約は重要なタスクになっています。
大規模言語モデル (LLM) は要約において大きな可能性を示し、従来の方法と比較して一貫性とコンテキストの理解を強化します。
しかし、彼らは依然として、関連性を維持し、幻覚を避けるのに苦労しています。
人間によるレビュー プロセスを模倣する 2 段階のプロセス (間違いの特定と要約の改善) を使用して、会議の要約を作成するためのマルチ LLM 修正アプローチを導入します。
QMSum Mistake をリリースします。これは、構造エラー、省略エラー、無関係エラーを含む 9 つのエラー タイプについて人間が注釈を付けた、自動的に生成された 200 件の会議概要のデータセットです。
私たちの実験では、LLM によってこれらのエラーを高精度で識別できることがわかりました。
特定された間違いを実用的なフィードバックに変換し、関連性、有益性、簡潔さ、一貫性によって測定される特定の概要の品質を向上させます。
この事後の改良により、複数の LLM を活用して出力品質を検証することにより、要約品質が効果的に向上します。
会議の要約に対する当社のマルチ LLM アプローチは、堅牢性、行動計画、目標に向けたディスカッションを必要とする同様の複雑なテキスト生成タスクの可能性を示しています。

要約(オリジナル)

Meeting summarization has become a critical task since digital encounters have become a common practice. Large language models (LLMs) show great potential in summarization, offering enhanced coherence and context understanding compared to traditional methods. However, they still struggle to maintain relevance and avoid hallucination. We introduce a multi-LLM correction approach for meeting summarization using a two-phase process that mimics the human review process: mistake identification and summary refinement. We release QMSum Mistake, a dataset of 200 automatically generated meeting summaries annotated by humans on nine error types, including structural, omission, and irrelevance errors. Our experiments show that these errors can be identified with high accuracy by an LLM. We transform identified mistakes into actionable feedback to improve the quality of a given summary measured by relevance, informativeness, conciseness, and coherence. This post-hoc refinement effectively improves summary quality by leveraging multiple LLMs to validate output quality. Our multi-LLM approach for meeting summarization shows potential for similar complex text generation tasks requiring robustness, action planning, and discussion towards a goal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google