Limits to Analog Reservoir Learning

要約

貯水池の計算は、時系列データを学習および予測するための再発性のフレームワークであり、多くの場合、物理システムのダイナミクスとして、非常に単純なトレーニングと解釈可能性の恩恵を受けます。
このホワイトペーパーでは、アナログリザーバーコンピューターの学習能力に対するノイズの影響を研究します。
貯水池計算に関する最近の研究は、情報処理能力（IPC）が騒音によるパフォーマンスの分解を定量化するための有用なメトリックであることを示しています。
この分析をさらに分析し、このIPCの劣化により、アナログリザーバーのコンピューティング設定で有意義に構築できる可能性のある機能が制限されることを実証します。
計算の回路モデルを連続時間モデルに関連付ける量子複雑度理論の結果を借用し、リザーバー構成のアクセス可能な量の指数関数的な削減を実証します。
この劣化を、貯水池のダイナミクスを記述する機能のファミリーの脂肪粉砕の次元に関連付けることで結論付けます。これにより、分類タスクの観点から結果を表現できます。
ノイズにさらされる物理的なアナログ貯留層コンピューターは、指数関数的に大きな潜在スペースにもかかわらず、ポストプロセッシングの量であっても、多項式量の学習を実行するためにのみ使用できると結論付けています。

要約(オリジナル)

Reservoir computation is a recurrent framework for learning and predicting time series data, that benefits from extremely simple training and interpretability, often as the the dynamics of a physical system. In this paper, we will study the impact of noise on the learning capabilities of analog reservoir computers. Recent work on reservoir computation has shown that the information processing capacity (IPC) is a useful metric for quantifying the degradation of the performance due to noise. We further this analysis and demonstrate that this degradation of the IPC limits the possible features that can be meaningfully constructed in an analog reservoir computing setting. We borrow a result from quantum complexity theory that relates the circuit model of computation to a continuous time model, and demonstrate an exponential reduction in the accessible volume of reservoir configurations. We conclude by relating this degradation in the IPC to the fat-shattering dimension of a family of functions describing the reservoir dynamics, which allows us to express our result in terms of a classification task. We conclude that any physical, analog reservoir computer that is exposed to noise can only be used to perform a polynomial amount of learning, despite the exponentially large latent space, even with an exponential amount of post-processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google