Semi-Structured Object Sequence Encoders

要約

本論文では、（半）構造化オブジェクトシーケンスのモデリングという課題を探求する。特に、このようなシーケンスのための構造を考慮した入力表現を開発する問題に注目する。このようなシーケンスでは、各構造化オブジェクトは、構造化オブジェクトの属性をエンコードするキー-値ペアのセットによって表されると仮定する。キーのユニバースが与えられると、構造化オブジェクトのシーケンスは、各キーの値の時間的な進化として見ることができる。我々は、特定のキーの値をエンコードして逐次表現を構築し（Temporal Value Modeling – TVM）、次に、構造化オブジェクトのシーケンスの表現を作成するために、キー条件付き値のシーケンスのセットに対して自己アッタメントを行います（Key Aggregation – KA）。我々は、この2つの構成要素を独立して事前訓練と微調整を行い、両モジュールの訓練を共有のアテンションヘッドでインターリーブする革新的な訓練スケジュールを提示する。この反復学習は、階層的エンコーディングを用いた統一的ネットワークや、配列の{em record-view} 表現や単純な{em flattened} 表現を用いた他の方法よりも優れた性能を示すことがわかった。我々は、TVM-KAを複数のタスクでインターリーブすることの利点を示すために、実世界のデータを用いた実験を行い、我々のモデリング選択の動機となる詳細なアブレーション研究を行った。その結果、我々のアプローチはシーケンスオブジェクトを平坦化するよりも性能が良く、また、既存の方法よりも大幅に大きなシーケンスに対して操作できることが分かった。

要約(オリジナル)

In this paper we explore the task of modeling (semi) structured object sequences; in particular we focus our attention on the problem of developing a structure-aware input representation for such sequences. In such sequences, we assume that each structured object is represented by a set of key-value pairs which encode the attributes of the structured object. Given a universe of keys, a sequence of structured objects can then be viewed as an evolution of the values for each key, over time. We encode and construct a sequential representation using the values for a particular key (Temporal Value Modeling – TVM) and then self-attend over the set of key-conditioned value sequences to a create a representation of the structured object sequence (Key Aggregation – KA). We pre-train and fine-tune the two components independently and present an innovative training schedule that interleaves the training of both modules with shared attention heads. We find that this iterative two part-training results in better performance than a unified network with hierarchical encoding as well as over, other methods that use a {\em record-view} representation of the sequence \cite{de2021transformers4rec} or a simple {\em flattened} representation of the sequence. We conduct experiments using real-world data to demonstrate the advantage of interleaving TVM-KA on multiple tasks and detailed ablation studies motivating our modeling choices. We find that our approach performs better than flattening sequence objects and also allows us to operate on significantly larger sequences than existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL