Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations

要約

この研究では、抽出的な要約を生成するために DistilBERT モデルを使用し、抽象的な要約を生成するために T5 モデルを使用します。
また、DistilBERT モデルと T5 モデルの両方を組み合わせてハイブリッド サマリーを生成します。
私たちの研究の中心となるのは、AI が生成した要約で発生する幻覚という一般的な問題を最小限に抑えるための GPT ベースの洗練プロセスの実装です。
私たちは、洗練されていない要約を評価し、洗練した後に、伝統的および新しいさまざまな指標を使用して洗練された要約も評価し、要約の精度と信頼性が大幅に向上していることを実証します。
結果は、幻覚コンテンツの削減における大幅な改善を強調し、それによって要約の事実の完全性が向上しました。

要約(オリジナル)

In this research, we uses the DistilBERT model to generate extractive summary and the T5 model to generate abstractive summaries. Also, we generate hybrid summaries by combining both DistilBERT and T5 models. Central to our research is the implementation of GPT-based refining process to minimize the common problem of hallucinations that happens in AI-generated summaries. We evaluate unrefined summaries and, after refining, we also assess refined summaries using a range of traditional and novel metrics, demonstrating marked improvements in the accuracy and reliability of the summaries. Results highlight significant improvements in reducing hallucinatory content, thereby increasing the factual integrity of the summaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google