Fine-grained Attention in Hierarchical Transformers for Tabular Time-series

要約

表形式のデータは、現実の多くのシステムで遍在しています。
特に、行が時系列に関連付けられている時間依存の表形式データは、通常、金融取引、医療記録、株式履歴などの履歴イベントを記録するために使用されます。
最近、トランスフォーマー アーキテクチャのアテンション メカニズムの階層型バリアントが、表形式の時系列データをモデル化するために使用されています。
最初に、行 (または列) は、フィールド間のアテンションを計算することによって個別にエンコードされます。
その後、エンコードされた行 (または列) が相互に処理されて、表形式の時系列全体がモデル化されます。
このアプローチは効率的ではありますが、注意の粒度が制限され、個別の行または列にわたってフィールド レベルでパターンを学習する能力が制限されます。
私たちは、行レベルと列レベルの両方でフィールドのコンテキストを設定するきめの細かい階層モデルである Fieldy を提案することで、このギャップに対処するための第一歩を踏み出します。
公開されている表形式の時系列データセットを使用して、回帰および分類タスクに関する最先端のモデルと私たちの提案を比較します。
私たちの結果は、行方向と列方向の注意を組み合わせることで、モデルのサイズを増やすことなくパフォーマンスが向上することを示しています。
コードとデータは https://github.com/raphaaal/fieldy で入手できます。

要約(オリジナル)

Tabular data is ubiquitous in many real-life systems. In particular, time-dependent tabular data, where rows are chronologically related, is typically used for recording historical events, e.g., financial transactions, healthcare records, or stock history. Recently, hierarchical variants of the attention mechanism of transformer architectures have been used to model tabular time-series data. At first, rows (or columns) are encoded separately by computing attention between their fields. Subsequently, encoded rows (or columns) are attended to one another to model the entire tabular time-series. While efficient, this approach constrains the attention granularity and limits its ability to learn patterns at the field-level across separate rows, or columns. We take a first step to address this gap by proposing Fieldy, a fine-grained hierarchical model that contextualizes fields at both the row and column levels. We compare our proposal against state of the art models on regression and classification tasks using public tabular time-series datasets. Our results show that combining row-wise and column-wise attention improves performance without increasing model size. Code and data are available at https://github.com/raphaaal/fieldy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google