Symbolic Synthesis of Neural Networks

要約

ニューラルネットワークは、分散した連続的な表現には非常によく適応するが、少量のデータから学習し、一般化することには苦労する。記号システムは、一般に、表現の局所的かつ離散的な特徴を利用するモジュール性を利用することで、データ効率の良い汎化を実現します。このような特徴により、記号プログラムは一度に1つのモジュールを改良することができ、うまく処理できる値の組合せ的な成長を経験することができる。しかし、記号的抽象化を形成するために使用され、ニューラルネットワークのように高度にオーバーパラメトリックなコンポーネントを設計することは、パラメータの調整によってモジュールのセマンティクスが不安定になるため、困難である。私は、記号プログラムの出力によってトポロジーとパラメータが決定されるニューラルネットワークの一形態であるGraph-based Symbolically Synthesized Neural Networks (G-SSNNs)を発表した。集団レベルで記号的抽象化を行い、個体レベルで勾配ベースの最適化を行うことで、局所的かつ離散的な特徴を持つ少量のデータでも、信頼性の高い汎化パターンを引き出せることを実証しています。G-SSNNに代表されるパラダイムは、様々なタスクや高次元のメディアに対して柔軟に再利用可能なコンパクトでコンポーザブルな抽象化を共同で開発するためのルートを提供するものです。将来的には、より複雑な記号プログラムに基づく、より野心的なG-SSNNの設計を探求することで、これらの利点を追求したいと考えています。本成果に関連するコードとデータは、https://github.com/shlomenu/symbolically_synthesized_networks で公開されています。

要約(オリジナル)

Neural networks adapt very well to distributed and continuous representations, but struggle to learn and generalize from small amounts of data. Symbolic systems commonly achieve data efficient generalization by exploiting modularity to benefit from local and discrete features of a representation. These features allow symbolic programs to be improved one module at a time and to experience combinatorial growth in the values they can successfully process. However, it is difficult to design components that can be used to form symbolic abstractions and which are highly-overparametrized like neural networks, as the adjustment of parameters makes the semantics of modules unstable. I present Graph-based Symbolically Synthesized Neural Networks (G-SSNNs), a form of neural network whose topology and parameters are informed by the output of a symbolic program. I demonstrate that by developing symbolic abstractions at a population level, and applying gradient-based optimization to such neural models at an individual level, I can elicit reliable patterns of improved generalization with small quantities of data known to contain local and discrete features. The paradigm embodied by G-SSNNs offers a route towards the communal development of compact and composable abstractions which can be flexibly repurposed for a variety of tasks and high-dimensional media. In future work, I hope to pursue these benefits by exploring more ambitious G-SSNN designs based on more complex classes of symbolic programs. The code and data associated with the reported results are publicly available at https://github.com/shlomenu/symbolically_synthesized_networks .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL