Structurally Flexible Neural Networks: Evolving the Building Blocks for General Agents

要約

強化学習に使用される人工ニューラル ネットワークは構造的に厳格です。これは、ネットワークの最適化された各パラメーターがネットワーク構造内の特定の配置に関連付けられていることを意味します。
これは、ネットワークが事前定義された固定の入力サイズと出力サイズでのみ機能することも意味します。
これは、最適化されたパラメータの数がネットワークの構造に直接依存していることの結果です。
構造的な硬直性により、入力スペースと出力スペースを共有しない複数の環境にわたってポリシーのパラメータを最適化する能力が制限されます。
ここでは、それぞれがゲート型リカレント ユニット (GRU) で表される一連のニューロンと可塑性シナプスを進化させます。
最適化中、ニューラル ネットワークのこれらの基本ユニットのパラメーターは、さまざまなランダムな構造構成で最適化されます。
これまでの研究では、構造的に柔軟なニューロンを作成するにはユニット間のパラメータ共有が重要であることが示されています。我々は、一連の異なるニューロンおよびシナプスのタイプを最適化し、対称性のジレンマを軽減できることを示しました。
単一セットのニューロンとシナプスを最適化して複数の強化学習制御タスクを同時に解決することで、これを実証します。

要約(オリジナル)

Artificial neural networks used for reinforcement learning are structurally rigid, meaning that each optimized parameter of the network is tied to its specific placement in the network structure. It also means that a network only works with pre-defined and fixed input- and output sizes. This is a consequence of having the number of optimized parameters being directly dependent on the structure of the network. Structural rigidity limits the ability to optimize parameters of policies across multiple environments that do not share input and output spaces. Here, we evolve a set of neurons and plastic synapses each represented by a gated recurrent unit (GRU). During optimization, the parameters of these fundamental units of a neural network are optimized in different random structural configurations. Earlier work has shown that parameter sharing between units is important for making structurally flexible neurons We show that it is possible to optimize a set of distinct neuron- and synapse types allowing for a mitigation of the symmetry dilemma. We demonstrate this by optimizing a single set of neurons and synapses to solve multiple reinforcement learning control tasks simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google