Based on What We Can Control Artificial Neural Networks

要約

人工ニューラル ネットワーク (ANN) の安定性と効率性は、体系的な分析手法を通じてどのように確保できるのでしょうか?
この文書では、その疑問に答えようとします。
数多くの要因が ANN の学習プロセスに影響を与える可能性がありますが、制御システムからの知識を利用することで、システム機能を分析し、システム応答をシミュレートすることができます。
ほとんどの ANN の複雑さは非常に高いですが、システム応答をシミュレートすることで各要素 (オプティマイザー、ハイパーパラメーターなど) を分析できます。
この新しい方法は、特にどのコンポーネントが ANN に悪影響を与えるかを識別する場合に、新しいオプティマイザーや学習システムの開発に役立つ可能性があります。
ANN の制御は、(1) すべてのオプティマイザーがコントローラーとして機能し、(2) すべての学習システムが入力と出力を持つ制御システムとして動作し、(3) オプティマイザーが学習システムと一致する必要があるため、オプティマイザーと学習システムの設計から恩恵を受けることができます。
コードを見つけてください: \url{https://github.com/RandomUserName2023/Control-ANNs}。

要約(オリジナル)

How can the stability and efficiency of Artificial Neural Networks (ANNs) be ensured through a systematic analysis method? This paper seeks to address that query. While numerous factors can influence the learning process of ANNs, utilizing knowledge from control systems allows us to analyze its system function and simulate system responses. Although the complexity of most ANNs is extremely high, we still can analyze each factor (e.g., optimiser, hyperparameters) by simulating their system response. This new method also can potentially benefit the development of new optimiser and learning system, especially when discerning which components adversely affect ANNs. Controlling ANNs can benefit from the design of optimiser and learning system, as (1) all optimisers act as controllers, (2) all learning systems operate as control systems with inputs and outputs, and (3) the optimiser should match the learning system. Please find codes: \url{https://github.com/RandomUserName2023/Control-ANNs}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google