Input Convex Lipschitz RNN: A Fast and Robust Approach for Engineering Tasks

要約

計算効率と堅牢性は、現実世界のエンジニアリング アプリケーションのプロセス モデリング、最適化、制御に不可欠です。
近年、ニューラル ネットワーク ベースのアプローチが大きな注目を集めていますが、従来のニューラル ネットワークでは、これら 2 つの重要な側面に同時に、あるいは独立して対処できないことがよくあります。
自然の物理システムと確立された文献からインスピレーションを得た入力凸型アーキテクチャは、最適化タスクにおける計算効率を向上させることが知られており、一方、リプシッツ制約付きアーキテクチャは堅牢性を向上させます。
ただし、1 つのプロパティを強制するための不適切な方法が他のプロパティを損なう可能性があるため、単一のモデル内でこれらのプロパティを組み合わせるには慎重な検討が必要です。
これを克服するために、Input Convex Lipschitz Recurrent Neural Networks (ICLRNN) と呼ばれる新しいネットワーク アーキテクチャを導入します。
このアーキテクチャは、凸性とリプシッツ連続性の利点をシームレスに統合し、高速かつ堅牢なニューラル ネットワーク ベースのモデリングと最適化を可能にします。
ICLRNN は、計算効率と堅牢性の両方において、既存のリカレント ユニットよりも優れています。
さらに、化学プロセスのモデリングと制御、シンガポールの LHT ホールディングスにおける太陽光発電システム計画のためのモデリングと現実世界の日射量予測など、実用的なエンジニアリング シナリオへの適用にも成功しています。
ソースコードは https://github.com/killingbear999/ICLRNN で入手できます。

要約(オリジナル)

Computational efficiency and robustness are essential in process modeling, optimization, and control for real-world engineering applications. While neural network-based approaches have gained significant attention in recent years, conventional neural networks often fail to address these two critical aspects simultaneously or even independently. Inspired by natural physical systems and established literature, input convex architectures are known to enhance computational efficiency in optimization tasks, whereas Lipschitz-constrained architectures improve robustness. However, combining these properties within a single model requires careful review, as inappropriate methods for enforcing one property can undermine the other. To overcome this, we introduce a novel network architecture, termed Input Convex Lipschitz Recurrent Neural Networks (ICLRNNs). This architecture seamlessly integrates the benefits of convexity and Lipschitz continuity, enabling fast and robust neural network-based modeling and optimization. The ICLRNN outperforms existing recurrent units in both computational efficiency and robustness. Additionally, it has been successfully applied to practical engineering scenarios, such as modeling and control of chemical process and the modeling and real-world solar irradiance prediction for solar PV system planning at LHT Holdings in Singapore. Source code is available at https://github.com/killingbear999/ICLRNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google