A minimax optimal control approach for robust neural ODEs

要約

この論文では、ロバストな制御の観点からニューラル ODE の敵対的トレーニングに取り組みます。
これは、経験的リスク最小化による従来のトレーニングに代わるものであり、入力摂動に対して信頼できる結果を強制するために広く使用されています。
ニューラル ODE を使用すると、ディープ ニューラル ネットワークを制御システムの離散化として解釈できるようになり、機械学習の開発と理解のための制御理論から強力なツールが解放されます。
この特定のケースでは、摂動データを使用した敵対的トレーニングをミニマックス最適制御問題として定式化し、ポントリャギンの最大原理の形式で一次最適性条件を導出します。
私たちは、低次元の分類タスクでテストする代替の重み付け手法につながるロバスト トレーニングの新しい解釈を提供します。

要約(オリジナル)

In this paper, we address the adversarial training of neural ODEs from a robust control perspective. This is an alternative to the classical training via empirical risk minimization, and it is widely used to enforce reliable outcomes for input perturbations. Neural ODEs allow the interpretation of deep neural networks as discretizations of control systems, unlocking powerful tools from control theory for the development and the understanding of machine learning. In this specific case, we formulate the adversarial training with perturbed data as a minimax optimal control problem, for which we derive first order optimality conditions in the form of Pontryagin’s Maximum Principle. We provide a novel interpretation of robust training leading to an alternative weighted technique, which we test on a low-dimensional classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google