One Transformer for All Time Series: Representing and Training with Time-Dependent Heterogeneous Tabular Data

要約

この構造化ドメインにおける他の人工知能分野の成功を再現するために、表形式データに深層学習技術を適用することへの関心が最近高まっています。
特に興味深いのは、金融取引など、表形式のデータに時間依存性がある場合です。
ただし、カテゴリ要素と数値項目が混在する表形式の値の不均一性により、この適応が困難になります。
この論文では、異種の時間依存の表形式データを表現するための Transformer アーキテクチャを提案します。このアーキテクチャでは、数値特徴が一連の周波数関数を使用して表現され、ネットワーク全体が固有の損失関数で均一にトレーニングされます。

要約(オリジナル)

There is a recent growing interest in applying Deep Learning techniques to tabular data, in order to replicate the success of other Artificial Intelligence areas in this structured domain. Specifically interesting is the case in which tabular data have a time dependence, such as, for instance financial transactions. However, the heterogeneity of the tabular values, in which categorical elements are mixed with numerical items, makes this adaptation difficult. In this paper we propose a Transformer architecture to represent heterogeneous time-dependent tabular data, in which numerical features are represented using a set of frequency functions and the whole network is uniformly trained with a unique loss function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google