German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset

要約

大規模言語モデル (LLM) の出現により、幅広い自然言語処理タスクが目覚ましい進歩を遂げました。
進歩にもかかわらず、これらの大規模なモデルは依然として出力に幻覚情報が含まれており、生成された要約がソース文書の内容と一致していることを保証する必要があるため、自動テキスト要約において大きな問題となっています。
これまでの研究では、生成された要約の忠実性を評価するために、出力内の幻覚を検出する（つまり、不一致の検出）という困難なタスクに取り組んできました。
ただし、これらの研究は主に英語に焦点を当てており、最近の多言語アプローチにはドイツ語のデータが不足しています。
この研究では、ドイツのニュース要約における幻覚検出用に手動で注釈が付けられたデータセットであるアブサンを紹介し、微調整とコンテキスト内学習設定の両方でこのタスクに関する新しいオープンソース LLM の機能を調査します。
私たちは、ドイツ語での幻覚検出に関するさらなる研究を促進するために、アブサン データセットをオープンソース化して公開しています。

要約(オリジナル)

The advent of Large Language Models (LLMs) has led to remarkable progress on a wide range of natural language processing tasks. Despite the advances, these large-sized models still suffer from hallucinating information in their output, which poses a major issue in automatic text summarization, as we must guarantee that the generated summary is consistent with the content of the source document. Previous research addresses the challenging task of detecting hallucinations in the output (i.e. inconsistency detection) in order to evaluate the faithfulness of the generated summaries. However, these works primarily focus on English and recent multilingual approaches lack German data. This work presents absinth, a manually annotated dataset for hallucination detection in German news summarization and explores the capabilities of novel open-source LLMs on this task in both fine-tuning and in-context learning settings. We open-source and release the absinth dataset to foster further research on hallucination detection in German.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google