Probing the limit of hydrologic predictability with the Transformer network

要約

水文学に導入されて以来、長年にわたり、長短期記憶 (LSTM) のようなリカレント ニューラル ネットワークは、既知の同等のベンチマークにおける毎日の水路測定基準の点で超えることが著しく困難であることが証明されてきました。
水文学の外では、Transformers は現在、逐次予測タスクに最適なモデルとなっており、調査するのに興味深いアーキテクチャとなっています。
ここでは、バニラの Transformer アーキテクチャが、広くベンチマークされている CAMELS データセットでは LSTM に対して競争力がなく、特に短期間のプロセスにより高フロー メトリクスで遅れていることを最初に示します。
ただし、Transformer の再帰性のないバリアントでは、LSTM との混合比較を取得し、他のメトリックとともに同じ Kling-Gupta 効率係数 (KGE) を生成できます。
Transformer に利点がないことは、水文予測問題のマルコフの性質に関連しています。
LSTM と同様に、Transformer は複数の強制データセットをマージしてモデルのパフォーマンスを向上させることもできます。
Transformer の結果は現在の最先端のものよりも優れているわけではありませんが、それでもいくつかの貴重な教訓を学びました。(1) バニラの Transformer アーキテクチャは水文モデリングには適していません。
(2) 提案された再発のない修正により、Transformer のパフォーマンスが向上するため、今後の作業でさらにそのような修正をテストし続けることができます。
(3) データセットの予測限界は現在の最先端モデルに近い必要があります。
非反復モデルとして、Transformer は、より大きなデータセットから学習し、知識を保存するためのスケール上の利点がある可能性があります。
この作業は、モデルを将来修正するための参照点として機能します。

要約(オリジナル)

For a number of years since its introduction to hydrology, recurrent neural networks like long short-term memory (LSTM) have proven remarkably difficult to surpass in terms of daily hydrograph metrics on known, comparable benchmarks. Outside of hydrology, Transformers have now become the model of choice for sequential prediction tasks, making it a curious architecture to investigate. Here, we first show that a vanilla Transformer architecture is not competitive against LSTM on the widely benchmarked CAMELS dataset, and lagged especially for the high-flow metrics due to short-term processes. However, a recurrence-free variant of Transformer can obtain mixed comparisons with LSTM, producing the same Kling-Gupta efficiency coefficient (KGE), along with other metrics. The lack of advantages for the Transformer is linked to the Markovian nature of the hydrologic prediction problem. Similar to LSTM, the Transformer can also merge multiple forcing dataset to improve model performance. While the Transformer results are not higher than current state-of-the-art, we still learned some valuable lessons: (1) the vanilla Transformer architecture is not suitable for hydrologic modeling; (2) the proposed recurrence-free modification can improve Transformer performance so future work can continue to test more of such modifications; and (3) the prediction limits on the dataset should be close to the current state-of-the-art model. As a non-recurrent model, the Transformer may bear scale advantages for learning from bigger datasets and storing knowledge. This work serves as a reference point for future modifications of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google