One Transformer for All Time Series: Representing and Training with Time-Dependent Heterogeneous Tabular Data

要約

この構造化されたドメインの他の人工知能領域の成功を再現するために、表形式データに深い学習技術を適用することに最近関心が高まっています。
特に興味深いのは、たとえば金融取引など、表形式データが時間依存性を持っている場合です。
ただし、カテゴリの要素が数値アイテムと混合される表形式値の不均一性は、この適応を困難にします。
この論文では、異種の時間依存性表形式データを表すための変圧器アーキテクチャを提案します。このデータでは、一連の周波数関数を使用して数値機能が表され、ネットワーク全体が一意の損失関数で均一にトレーニングされています。

要約(オリジナル)

There is a recent growing interest in applying Deep Learning techniques to tabular data, in order to replicate the success of other Artificial Intelligence areas in this structured domain. Specifically interesting is the case in which tabular data have a time dependence, such as, for instance financial transactions. However, the heterogeneity of the tabular values, in which categorical elements are mixed with numerical items, makes this adaptation difficult. In this paper we propose a Transformer architecture to represent heterogeneous time-dependent tabular data, in which numerical features are represented using a set of frequency functions and the whole network is uniformly trained with a unique loss function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google