EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models

要約

大規模言語モデル (LLM) は通常、知識の遮断や誤謬の問題に悩まされます。つまり、目に見えないイベントに気づかなかったり、古いデータやノイズの多いデータのせいで誤った事実を含むテキストが生成されたりすることになります。
この目的を達成するために、無関係な入力への影響を最小限に抑えながら、更新された知識を微妙に挿入/編集したり、望ましくない動作を調整したりすることを目的とした、LLM 用の知識編集アプローチが数多く登場しました。
それにもかかわらず、さまざまなナレッジ編集方法間の大きな違いとタスク設定のバリエーションのため、コミュニティで利用できる標準的な実装フレームワークが存在せず、実務者がナレッジ編集をアプリケーションに適用するのを妨げています。
これらの問題に対処するために、LLM 向けの使いやすいナレッジ編集フレームワークである EasyEdit を提案します。
これは、さまざまな最先端のナレッジ編集アプローチをサポートしており、T5、GPT-J、LlaMA などの多くのよく知られた LLM に容易に適用できます。経験的に、EasyEdit を使用して LlaMA-2 でのナレッジ編集結果をレポートし、その知識が実証されています。
編集は、信頼性と汎用性の点で従来の微調整を上回ります。
GitHub (https://github.com/zjunlp/EasyEdit) でソース コードをリリースしました。また、初心者向けの Google Colab チュートリアルと包括的なドキュメントもリリースしました。
さらに、リアルタイムのナレッジ編集のためのオンライン システムとデモ ビデオを http://knowlm.zjukg.cn/easyedit.mp4 で紹介します。

要約(オリジナル)

Large Language Models (LLMs) usually suffer from knowledge cutoff or fallacy issues, which means they are unaware of unseen events or generate text with incorrect facts owing to the outdated/noisy data. To this end, many knowledge editing approaches for LLMs have emerged — aiming to subtly inject/edit updated knowledge or adjust undesired behavior while minimizing the impact on unrelated inputs. Nevertheless, due to significant differences among various knowledge editing methods and the variations in task setups, there is no standard implementation framework available for the community, which hinders practitioners to apply knowledge editing to applications. To address these issues, we propose EasyEdit, an easy-to-use knowledge editing framework for LLMs. It supports various cutting-edge knowledge editing approaches and can be readily apply to many well-known LLMs such as T5, GPT-J, LlaMA, etc. Empirically, we report the knowledge editing results on LlaMA-2 with EasyEdit, demonstrating that knowledge editing surpasses traditional fine-tuning in terms of reliability and generalization. We have released the source code on GitHub at https://github.com/zjunlp/EasyEdit, along with Google Colab tutorials and comprehensive documentation for beginners to get started. Besides, we present an online system for real-time knowledge editing, and a demo video at http://knowlm.zjukg.cn/easyedit.mp4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google