Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control

要約

変化する環境と対話できる自律エージェントの開発は、機械学習における未解決の課題です。
エージェントは多くの場合、専門家のデモンストレーションではオフラインで調整されますが、環境内の閉じたフィードバック ループに一般化する必要があるオンラインでは展開されるため、これらの設定では堅牢性が特に重要です。
この研究では、この種のタスクへのリカレント ニューラル ネットワークの適用を検討し、そのリカレント接続のパラメータ化が閉ループ設定での堅牢性にどのように影響するかを理解します。
具体的には、リカレント接続をランクとスパース性の関数として表し、これら 2 つの変数を調整することがネットワークのダイナミクスに望ましい効果をもたらすことを理論的および経験的に示します。
提案された低ランクの疎な接続性は、ネットワーク上に解釈可能な事前分布を誘導します。これは、閉じた形式の連続時間ニューラル ネットワーク (CfC) として知られるモデルのクラスに最も適していることが証明されています。
パラメータが少ない CfC は、分散シフト下のオンライン設定において、フルランクの完全接続された CfC よりも優れたパフォーマンスを発揮できることがわかりました。
これにより、メモリ効率が高く堅牢なエージェントが実現されると同時に、接続を通じてネットワークのダイナミクスを調整する方法について新たな視点が開かれます。

要約(オリジナル)

Developing autonomous agents that can interact with changing environments is an open challenge in machine learning. Robustness is particularly important in these settings as agents are often fit offline on expert demonstrations but deployed online where they must generalize to the closed feedback loop within the environment. In this work, we explore the application of recurrent neural networks to tasks of this nature and understand how a parameterization of their recurrent connectivity influences robustness in closed-loop settings. Specifically, we represent the recurrent connectivity as a function of rank and sparsity and show both theoretically and empirically that modulating these two variables has desirable effects on network dynamics. The proposed low-rank, sparse connectivity induces an interpretable prior on the network that proves to be most amenable for a class of models known as closed-form continuous-time neural networks (CfCs). We find that CfCs with fewer parameters can outperform their full-rank, fully-connected counterparts in the online setting under distribution shift. This yields memory-efficient and robust agents while opening a new perspective on how we can modulate network dynamics through connectivity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google