Predictions Based on Pixel Data: Insights from PDEs and Finite Differences

要約

タイトル：Pixelデータに基づく予測：PDEと有限差分から得られる洞察

要約：

– 現在、多次元空間における多くの近似タスクにおいて、ニューラルネットワークは最先端の技術として支持されている。
– しかしながら、我々は、彼らが近似できる範囲と、特にそのコストと精度について、堅牢な理論的理解がまだ必要である。
– 画像を含む近似タスクに特に適した一つのネットワークアーキテクチャは、畳み込み（残差）ネットワークである。
– しかしながら、これらのネットワークに関与する線形演算子の局所性のため、一般的な完全に接続されたニューラルネットワークに比べて、これらのネットワークの解析はより複雑である。
– 本論文は、各観測値を表す行列または高階テンソルが存在する系列近似タスクに焦点を当てている。
– 空間-時間の離散化から生じる系列を近似する場合、比較的小規模なネットワークを使用できることを示す。
– 我々は、離散畳み込みと有限差分演算子とのつながりを利用して、これらの結果を構築的に導出する。
– 本論文では、保証を持ちつつも、一般的に系列近似タスクに採用されるものと類似している、ネットワークアーキテクチャを設計した。
– 我々の理論的結果は、線形移流方程式、熱方程式、およびフィッシャー方程式をシミュレーションする数値実験によって支持されている。
– 実装は、本論文と関連するレポジトリで利用可能である。

要約(オリジナル)

Neural networks are the state-of-the-art for many approximation tasks in high-dimensional spaces, as supported by an abundance of experimental evidence. However, we still need a solid theoretical understanding of what they can approximate and, more importantly, at what cost and accuracy. One network architecture of practical use, especially for approximation tasks involving images, is convolutional (residual) networks. However, due to the locality of the linear operators involved in these networks, their analysis is more complicated than for generic fully connected neural networks. This paper focuses on sequence approximation tasks, where a matrix or a higher-order tensor represents each observation. We show that when approximating sequences arising from space-time discretisations of PDEs we may use relatively small networks. We constructively derive these results by exploiting connections between discrete convolution and finite difference operators. Throughout, we design our network architecture to, while having guarantees, be similar to those typically adopted in practice for sequence approximation tasks. Our theoretical results are supported by numerical experiments which simulate linear advection, the heat equation, and the Fisher equation. The implementation used is available at the repository associated to the paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI