Factorizing Knowledge in Neural Networks

要約

この論文では、Knowledge Factorization ~ (KF) と呼ばれる、斬新で野心的な知識移転タスクについて説明します。
KF の核となる考え方は、知識のモジュール化とアセンブリ可能性にあります。事前にトレーニングされたネットワーク モデルが入力として与えられると、KF はそれをいくつかの因子ネットワークに分解することを目的としています。それぞれが専用のタスクのみを処理し、ソースから因数分解されたタスク固有の知識を維持します。
通信網。
このような因子ネットワークは、タスクごとに解きほぐされ、微調整なしで直接組み立てて、より有能な複合タスク ネットワークを生成できます。
つまり、因子ネットワークはレゴ ブロックのようなビルディング ブロックとして機能し、カスタマイズされたネットワークをプラグ アンド プレイで構築できます。
具体的には、各因子ネットワークは 2 つのモジュールで構成されます。タスクに依存せず、すべての因子ネットワークで共有される共通知識モジュールと、因子ネットワーク自体専用のタスク固有のモジュールです。
学習した表現と入力の間の相互情報量を最適化することによって KF を実行するために、情報理論の目的である InfoMax-Bottleneck~(IMB) を導入します。
さまざまなベンチマークにわたる実験は、導出された因子ネットワークが専用タスクだけでなく、より優れた解釈可能性とモジュール性を享受しながら、満足のいくパフォーマンスをもたらすことを示しています。
さらに、学習した共通知識表現は、転移学習において印象的な結果をもたらします。
コードは https://github.com/Adamdad/KnowledgeFactor で入手できます。

要約(オリジナル)

In this paper, we explore a novel and ambitious knowledge-transfer task, termed Knowledge Factorization~(KF). The core idea of KF lies in the modularization and assemblability of knowledge: given a pretrained network model as input, KF aims to decompose it into several factor networks, each of which handles only a dedicated task and maintains task-specific knowledge factorized from the source network. Such factor networks are task-wise disentangled and can be directly assembled, without any fine-tuning, to produce the more competent combined-task networks. In other words, the factor networks serve as Lego-brick-like building blocks, allowing us to construct customized networks in a plug-and-play manner. Specifically, each factor network comprises two modules, a common-knowledge module that is task-agnostic and shared by all factor networks, alongside with a task-specific module dedicated to the factor network itself. We introduce an information-theoretic objective, InfoMax-Bottleneck~(IMB), to carry out KF by optimizing the mutual information between the learned representations and input. Experiments across various benchmarks demonstrate that, the derived factor networks yield gratifying performances on not only the dedicated tasks but also disentanglement, while enjoying much better interpretability and modularity. Moreover, the learned common-knowledge representations give rise to impressive results on transfer learning. Our code is available at https://github.com/Adamdad/KnowledgeFactor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google