Combining optimal path search with task-dependent learning in a neural network

要約

接続されたグラフで最適なパスを見つけるには、グラフのエッジに沿って移動するための最小の総コストを決定する必要があります。
この問題は、通常、すべてのエッジに対してコストが事前に定義されているいくつかの古典的なアルゴリズムによって解決できます。
したがって、従来の計画方法は、通常、何らかのタスクの要件に従って適応的な方法でコストを変更したい場合には使用できません。
ここでは、コスト値をシナプス重みに変換することで経路探索問題のニューラル ネットワーク表現を定義できることを示します。これにより、ネットワーク学習メカニズムを使用したオンライン重み適応が可能になります。
初期アクティビティ値 1 から開始すると、このネットワーク内でのアクティビティの伝播により、ベルマン-フォード アルゴリズムで見つかったものと同じ解が得られます。
ニューラル ネットワークのアルゴリズムの複雑さはベルマン フォードと同じであり、さらに、ネットワーク学習メカニズム (ヘビアン学習など) がネットワーク内の重みを適応させ、当面のタスクに応じて結果のパスを拡張できることを示すことができます。
これを、障害物のある環境でのナビゲーションを学習したり、パス ノードの特定のシーケンスに従うことを学習したりすることで実証します。
したがって、ここで紹介する新しいアルゴリズムは、(学習による) パス拡張が自​​然な方法でパス発見と直接結合される、別のアプリケーション領域を開く可能性があります。

要約(オリジナル)

Finding optimal paths in connected graphs requires determining the smallest total cost for traveling along the graph’s edges. This problem can be solved by several classical algorithms where, usually, costs are predefined for all edges. Conventional planning methods can, thus, normally not be used when wanting to change costs in an adaptive way following the requirements of some task. Here we show that one can define a neural network representation of path finding problems by transforming cost values into synaptic weights, which allows for online weight adaptation using network learning mechanisms. When starting with an initial activity value of one, activity propagation in this network will lead to solutions, which are identical to those found by the Bellman-Ford algorithm. The neural network has the same algorithmic complexity as Bellman-Ford and, in addition, we can show that network learning mechanisms (such as Hebbian learning) can adapt the weights in the network augmenting the resulting paths according to some task at hand. We demonstrate this by learning to navigate in an environment with obstacles as well as by learning to follow certain sequences of path nodes. Hence, the here-presented novel algorithm may open up a different regime of applications where path-augmentation (by learning) is directly coupled with path finding in a natural way.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google