Bidirectional Reactive Programming for Machine Learning

要約

リアクティブ言語は、環境と継続的かつ同時に対話するシステムのプログラミングに特化しています。
値は、(離散的な) 時間の経過または一連の同時インタラクションをモデル化する無制限のストリームの形式をとります。
従来の反応性モデルは時間の経過とともに前方へ回帰しますが、本発明では後方回帰を可能にする対称的な反応性構造を導入します。
後者に対する制約により、実装を実用化できます。
機械学習 (ML) システムは、これらすべてに多くの動機を与えます。私たちは、逆モード自動微分、逆伝播、バッチ正規化、双方向リカレント ニューラル ネットワーク、トレーニングおよび強化学習アルゴリズムがすべて双方向リアクティブ プログラムとして自然にキャプチャされることを実証します。

要約(オリジナル)

Reactive languages are dedicated to the programming of systems which interact continuously and concurrently with their environment. Values take the form of unbounded streams modeling the (discrete) passing of time or the sequence of concurrent interactions. While conventional reactivity models recurrences forward in time, we introduce a symmetric reactive construct enabling backward recurrences. Constraints on the latter allow to make the implementation practical. Machine Learning (ML) systems provide numerous motivations for all of this: we demonstrate that reverse-mode automatic differentiation, backpropagation, batch normalization, bidirectional recurrent neural networks, training and reinforcement learning algorithms, are all naturally captured as bidirectional reactive programs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google