Parallelizing non-linear sequential models over the sequence length

要約

リカレント ニューラル ネットワークやニューラル常微分方程式などの逐次モデルは、その固有の逐次的性質により、トレーニングの遅さに長い間悩まされてきました。
多くの思考逐次モデルは並列化できなかったため、長年にわたってこのボトルネックが続いていました。
私たちは、出力精度を損なうことなく、シーケンシャル モデルの GPU 評価を最大 3 桁高速化する並列アルゴリズムによって、この長年の信念に挑戦します。
このアルゴリズムは、逐次モデルのアーキテクチャに特別な構造を必要としないため、幅広いアーキテクチャに適用できます。
私たちの方法を使用すると、トレーニング結果に有意な差を生じることなく、一般的な逐次メソッドよりも 10 倍以上高速に逐次モデルをトレーニングできます。
この加速トレーニングを活用して、17,000 時間サンプルを使用した長い時系列分類問題におけるゲート反復ユニットの有効性を発見しました。
トレーニングのボトルネックを克服することで、私たちの研究は、長いシーケンス問題に対する非線形シーケンス モデルの可能性を解き放つ最初のステップとして機能します。

要約(オリジナル)

Sequential models, such as Recurrent Neural Networks and Neural Ordinary Differential Equations, have long suffered from slow training due to their inherent sequential nature. For many years this bottleneck has persisted, as many thought sequential models could not be parallelized. We challenge this long-held belief with our parallel algorithm that accelerates GPU evaluation of sequential models by up to 3 orders of magnitude faster without compromising output accuracy. The algorithm does not need any special structure in the sequential models’ architecture, making it applicable to a wide range of architectures. Using our method, training sequential models can be more than 10 times faster than the common sequential method without any meaningful difference in the training results. Leveraging this accelerated training, we discovered the efficacy of the Gated Recurrent Unit in a long time series classification problem with 17k time samples. By overcoming the training bottleneck, our work serves as the first step to unlock the potential of non-linear sequential models for long sequence problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google