Benchmarking Chinese Knowledge Rectification in Large Language Models

要約

大規模言語モデル (LLM) は顕著な生成能力を示しますが、特に幻覚の形で欠陥がないわけではありません。
この問題は、LLM が特定の言語およびドメインに適用される場合にさらに顕著になります。
たとえば、LLM は、中国の古代の詩、ことわざ、または慣用句を扱うときに、特定の知識が不足しているために、無意味な情報を生成する可能性があります。
この目的を達成するために、この文書では、知識編集を通じて LLM の中国語知識を修正するためのベンチマークを紹介します。
具体的には、古典的なテキスト、慣用句、Baidu Tieba Ruozhiba のコンテンツなど、さまざまなソースから 7 種類の知識を収集することで、新しい中国語データセット CKnowEdit を導入します。これにより、中国語に固有の独特のポリフォニー、アンチテーゼ、論理構造が説明されます。
言語。
このデータセットの分析を通じて、現在の LLM が中国語を習得する際に直面している課題を明らかにします。
さらに、このデータセットに関する最先端の知識編集技術の評価により、中国の知識の修正における進歩の大きな余地が明らかになりました。
コードとデータセットは https://github.com/zjunlp/EasyEdit で入手できます。

要約(オリジナル)

While Large Language Models (LLMs) exhibit remarkable generative capabilities, they are not without flaws, particularly in the form of hallucinations. This issue is even more pronounced when LLMs are applied to specific languages and domains. For example, LLMs may generate nonsense information when handling Chinese ancient poetry, proverbs, or idioms, owing to the lack of specific knowledge. To this end, this paper introduces a benchmark for rectifying Chinese knowledge in LLMs via knowledge editing. Specifically, we introduce a new Chinese dataset, CKnowEdit, by collecting seven type of knowledge from various sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, thereby accounting for the unique polyphony, antithesis, and logical constructs inherent in the Chinese language. Through the analysis of this dataset, we uncover the challenges faced by current LLMs in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques on this dataset unveil the substantial scope for advancement in the rectification of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google