A Survey on Knowledge Editing of Neural Networks

要約

ディープ ニューラル ネットワークは学術界や産業界でますます普及しており、さまざまな分野や関連タスクにおいて人間のパフォーマンスに匹敵し、それを上回っています。
しかし、人間と同じように、最大​​規模の人工ニューラル ネットワークであっても間違いはあり、世界が時間の経過とともに進歩するにつれて、かつては正しかった予測も無効になる可能性があります。
間違いや最新の情報を考慮したサンプルを使用してデータセットを強化することは、実際のアプリケーションでは一般的な回避策となっています。
ただし、壊滅的な忘却というよく知られた現象は、暗黙的に記憶されたニューラル ネットワーク パラメーターの知識を正確に変更する際に課題を引き起こし、多くの場合、望ましい動作を達成するには完全なモデルの再トレーニングが必要になります。
これは高価で信頼性が低く、大規模な自己教師付き事前トレーニングの現在の傾向と互換性がないため、ニューラル ネットワーク モデルをデータの変化に適応させるためのより効率的かつ効果的な方法を見つける必要があります。
このニーズに対処するために、以前に学習したタスクでのモデルの動作に影響を与えることなく、事前トレーニングされたターゲット モデルに対する信頼性が高く、データ効率が高く、迅速な変更を可能にすることを目的とした新しい研究分野としてナレッジ編集が登場しています。
この調査では、この最近の人工知能研究分野について簡単にレビューします。
まず、ニューラル ネットワークの編集の問題を紹介し、それを共通のフレームワークで形式化し、継続学習などの悪名高い研究分野と区別します。
次に、これまでに提案された最も関連性の高いナレッジ編集アプローチとデータセットをレビューし、正則化手法、メタ学習、直接モデル編集、アーキテクチャ戦略という 4 つの異なるファミリーに作業をグループ化します。
最後に、他の研究分野とのいくつかの共通点と将来の研究の潜在的な方向性について概説します。

要約(オリジナル)

Deep neural networks are becoming increasingly pervasive in academia and industry, matching and surpassing human performance on a wide variety of fields and related tasks. However, just as humans, even the largest artificial neural networks make mistakes, and once-correct predictions can become invalid as the world progresses in time. Augmenting datasets with samples that account for mistakes or up-to-date information has become a common workaround in practical applications. However, the well-known phenomenon of catastrophic forgetting poses a challenge in achieving precise changes in the implicitly memorized knowledge of neural network parameters, often requiring a full model re-training to achieve desired behaviors. That is expensive, unreliable, and incompatible with the current trend of large self-supervised pre-training, making it necessary to find more efficient and effective methods for adapting neural network models to changing data. To address this need, knowledge editing is emerging as a novel area of research that aims to enable reliable, data-efficient, and fast changes to a pre-trained target model, without affecting model behaviors on previously learned tasks. In this survey, we provide a brief review of this recent artificial intelligence field of research. We first introduce the problem of editing neural networks, formalize it in a common framework and differentiate it from more notorious branches of research such as continuous learning. Next, we provide a review of the most relevant knowledge editing approaches and datasets proposed so far, grouping works under four different families: regularization techniques, meta-learning, direct model editing, and architectural strategies. Finally, we outline some intersections with other fields of research and potential directions for future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google