Learning Useful Representations of Recurrent Neural Network Weight Matrices

要約

リカレント ニューラル ネットワーク (RNN) は、汎用の並列逐次コンピューターです。
RNN のプログラムはその重み行列です。
RNN 分析や下流タスクを容易にする RNN 重みの有用な表現を学習するにはどうすればよいでしょうか?
機械主義的アプローチでは、一部の RNN の重みを直接調べてその動作を予測しますが、機能主義的アプローチでは、その全体的な機能、特に入出力マッピングを分析します。
RNN の重みに対するいくつかの機構的アプローチを検討し、順列等変ディープ ウェイト スペース層を RNN に適応させます。
私たちの 2 つの新しい機能主義的アプローチは、入力を調査することによって RNN に「問い合わせ」ることにより、RNN の重みから情報を抽出します。
私たちは、機能主義的アプローチが RNN の動作を決定するのに役立つ豊富な表現を生成できる条件を実証する理論的フレームワークを開発します。
RNN 重み表現学習用の最初の 2 つの「モデル動物園」データセットをリリースします。
1 つは形式言語のクラスの生成モデルで構成され、もう 1 つは順次処理される MNIST 数字の分類器で構成されます。エミュレーション ベースの自己教師あり学習手法の助けを借りて、複数のダウンストリームで異なる RNN 重みエンコーディング手法を比較および評価します。
アプリケーション。
最も困難な課題、つまり RNN がどの正確なタスクでトレーニングされたかを予測することに関しては、機能主義的なアプローチが明らかに優位性を示しています。

要約(オリジナル)

Recurrent Neural Networks (RNNs) are general-purpose parallel-sequential computers. The program of an RNN is its weight matrix. How to learn useful representations of RNN weights that facilitate RNN analysis as well as downstream tasks? While the mechanistic approach directly looks at some RNN’s weights to predict its behavior, the functionalist approach analyzes its overall functionality-specifically, its input-output mapping. We consider several mechanistic approaches for RNN weights and adapt the permutation equivariant Deep Weight Space layer for RNNs. Our two novel functionalist approaches extract information from RNN weights by ‘interrogating’ the RNN through probing inputs. We develop a theoretical framework that demonstrates conditions under which the functionalist approach can generate rich representations that help determine RNN behavior. We release the first two ‘model zoo’ datasets for RNN weight representation learning. One consists of generative models of a class of formal languages, and the other one of classifiers of sequentially processed MNIST digits.With the help of an emulation-based self-supervised learning technique we compare and evaluate the different RNN weight encoding techniques on multiple downstream applications. On the most challenging one, namely predicting which exact task the RNN was trained on, functionalist approaches show clear superiority.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google