Symbolic Synthesis of Neural Networks

要約

ニューラル ネットワークは、分散表現と連続表現に非常によく適応しますが、少量のデータから一般化するのは困難です。
シンボリック システムは一般に、モジュール性を利用して表現の局所的および離散的な機能を活用することにより、データの効率的な一般化を実現します。
これらの機能により、シンボリック プログラムを一度に 1 モジュールずつ改善し、正常に処理できる値の組み合わせの成長を体験できます。
ただし、シンボリック抽象化を形成するために使用でき、任意の高次元変換を学習するために適切にオーバーパラメーター化されたコンポーネントを設計することは困難です。
グラフベースのシンボリック合成ニューラル ネットワーク (G-SSNN) を紹介します。これは、合成されたシンボリック プログラムで変更された表現で動作するニューラル モジュールのクラスであり、ローカルおよび離散フィーチャの固定セットを含みます。
G-SSNN モジュール内に注入された機能の選択が、ベースライン ニューラル モデルのデータ効率と一般化を調整し、一般化の増大と縮小の両方の予測可能なパターンを作成することを実証します。
G-SSNN をトレーニングすることにより、手作業によるエンジニアリングを行わずに、シンボリック プログラムの望ましいセマンティクスに関する情報も導き出します。
この情報はコンパクトで抽象化に適していますが、他の高次元設定のために柔軟に再文脈化することもできます。
今後の作業では、より複雑なクラスのシンボリック プログラムに基づくより複雑な G-SSNN 設計における、データの効率的な一般化と、学習したシンボリック表現の転送可能性を調査します。
実験的なコードとデータは、https://github.com/shlomenu/symbolically_synthesized_networks で入手できます。

要約(オリジナル)

Neural networks adapt very well to distributed and continuous representations, but struggle to generalize from small amounts of data. Symbolic systems commonly achieve data efficient generalization by exploiting modularity to benefit from local and discrete features of a representation. These features allow symbolic programs to be improved one module at a time and to experience combinatorial growth in the values they can successfully process. However, it is difficult to design a component that can be used to form symbolic abstractions and which is adequately overparametrized to learn arbitrary high-dimensional transformations. I present Graph-based Symbolically Synthesized Neural Networks (G-SSNNs), a class of neural modules that operate on representations modified with synthesized symbolic programs to include a fixed set of local and discrete features. I demonstrate that the choice of injected features within a G-SSNN module modulates the data efficiency and generalization of baseline neural models, creating predictable patterns of both heightened and curtailed generalization. By training G-SSNNs, we also derive information about desirable semantics of symbolic programs without manual engineering. This information is compact and amenable to abstraction, but can also be flexibly recontextualized for other high-dimensional settings. In future work, I will investigate data efficient generalization and the transferability of learned symbolic representations in more complex G-SSNN designs based on more complex classes of symbolic programs. Experimental code and data are available at https://github.com/shlomenu/symbolically_synthesized_networks .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google