NIERT: Accurate Numerical Interpolation through Unifying Scattered Data Representations using Transformer Encoder

要約

散乱データの内挿は、数値解析における古典的な問題であり、理論的および実用的な貢献の長い歴史があります。
最近の進歩では、ディープ ニューラル ネットワークを利用してインターポレーターを構築し、優れた一般化可能なパフォーマンスを示しています。
ただし、それらはまだ 2 つの側面で不十分です: \textbf{1) 不十分な表現学習}、一般的なエンコーダー/デコーダー フレームワークでの観測ポイントとターゲット ポイントの別々の埋め込みに起因するもの、および \textbf{2) 限られた一般化能力}、事前の見落としによるもの
異なるドメイン間で共有される補間知識。
これらの制限を克服するために、\textbf{T}トランスフォーマの\textbf{E}ncoder \textbf{R}表現（\textbf{NIERT}と呼ばれる）を使用した\textbf{N}数値的\textbf{I}補間アプローチを提示します。
一方では、NIERT は、エンコーダー デコーダー構造ではなく、エンコーダーのみのフレームワークを利用します。
このようにして、NIERT は観測ポイントとターゲット ポイントを統一されたエンコーダ表現空間に埋め込むことができるため、それらの間の相関関係を効果的に活用し、より正確な表現を取得できます。
一方、大規模な合成数学関数で NIERT を事前トレーニングして、事前の補間知識を取得し、それを複数の補間ドメインに転送して、一貫したパフォーマンスを向上させることを提案します。
合成データセットと実世界のデータセットの両方で、NIERT は既存のアプローチよりも大幅に優れています。つまり、TFRD サブセットで 4.3$\sim$14.3$\times$ 低い MAE、Mathit で 1.7/1.8/8.7$\times$ 低い MSE です。
/PhysioNet/PTV データセット。
NIERT のソース コードは、https://github.com/DingShizhe/NIERT で入手できます。

要約(オリジナル)

Interpolation for scattered data is a classical problem in numerical analysis, with a long history of theoretical and practical contributions. Recent advances have utilized deep neural networks to construct interpolators, exhibiting excellent and generalizable performance. However, they still fall short in two aspects: \textbf{1) inadequate representation learning}, resulting from separate embeddings of observed and target points in popular encoder-decoder frameworks and \textbf{2) limited generalization power}, caused by overlooking prior interpolation knowledge shared across different domains. To overcome these limitations, we present a \textbf{N}umerical \textbf{I}nterpolation approach using \textbf{E}ncoder \textbf{R}epresentation of \textbf{T}ransformers (called \textbf{NIERT}). On one hand, NIERT utilizes an encoder-only framework rather than the encoder-decoder structure. This way, NIERT can embed observed and target points into a unified encoder representation space, thus effectively exploiting the correlations among them and obtaining more precise representations. On the other hand, we propose to pre-train NIERT on large-scale synthetic mathematical functions to acquire prior interpolation knowledge, and transfer it to multiple interpolation domains with consistent performance gain. On both synthetic and real-world datasets, NIERT outperforms the existing approaches by a large margin, i.e., 4.3$\sim$14.3$\times$ lower MAE on TFRD subsets, and 1.7/1.8/8.7$\times$ lower MSE on Mathit/PhysioNet/PTV datasets. The source code of NIERT is available at https://github.com/DingShizhe/NIERT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google