The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks

要約

よく理解されているアルゴリズム タスクに基づいてトレーニングされたニューラル ネットワークは、それらのタスクを解決するための既知のアルゴリズムを確実に再発見しますか?
グループ算術からコンテキスト内線形回帰に至るまでのタスクに関するいくつかの最近の研究は、答えが「はい」であることを示唆しています。
典型的な問題としてモジュラー加算を使用して、ニューラル ネットワークでのアルゴリズム発見が場合によってはより複雑であることを示します。
モデルのハイパーパラメータと初期化に小さな変更を加えると、固定トレーニング セットから質的に異なるアルゴリズムが発見され、さらには複数のそのようなアルゴリズムが並列実装される可能性があります。
モジュール加算を実行するように訓練された一部のネットワークは、使い慣れたクロック アルゴリズムを実装します。
他のものは、これまで説明されておらず、あまり直感的ではないが、ピザアルゴリズムと呼ばれる理解可能な手順、またはさまざまなさらに複雑な手順を実装しています。
私たちの結果は、単純な学習問題であっても、驚くほど多様な解決策が可能であることを示しており、アルゴリズム位相空間全体にわたるニューラル ネットワークの動作を特徴付けるための新しいツールの開発の動機となっています。

要約(オリジナル)

Do neural networks, trained on well-understood algorithmic tasks, reliably rediscover known algorithms for solving those tasks? Several recent studies, on tasks ranging from group arithmetic to in-context linear regression, have suggested that the answer is yes. Using modular addition as a prototypical problem, we show that algorithm discovery in neural networks is sometimes more complex. Small changes to model hyperparameters and initializations can induce the discovery of qualitatively different algorithms from a fixed training set, and even parallel implementations of multiple such algorithms. Some networks trained to perform modular addition implement a familiar Clock algorithm; others implement a previously undescribed, less intuitive, but comprehensible procedure which we term the Pizza algorithm, or a variety of even more complex procedures. Our results show that even simple learning problems can admit a surprising diversity of solutions, motivating the development of new tools for characterizing the behavior of neural networks across their algorithmic phase space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google