ESQA: Event Sequences Question Answering

要約

イベント シーケンス (ES) は、金融、小売、ソーシャル ネットワーク、ヘルスケアなどの多くの実用的な領域で発生します。
機械学習のコンテキストでは、イベント シーケンスは、注釈付きのタイムスタンプを持つ特別なタイプの表形式データと見なすことができます。
ES のモデリングと分析の重要性にもかかわらず、大規模言語モデル (LLM) を ES ドメインに適応させる努力はほとんど行われていませんでした。
このペーパーでは、ES 処理に共通する困難を強調し、微調整をほとんどまたはまったく行わずに複数の下流タスクを解決できる新しいソリューションを提案します。
特に、長いシーケンスを扱う際の問題を解決し、時間および数値特徴の処理を改善します。
その結果として得られた ESQA と呼ばれる方法は、LLM の力を効果的に利用しており、広範な実験によれば、ES ドメインで最先端の結果を達成しています。

要約(オリジナル)

Event sequences (ESs) arise in many practical domains including finance, retail, social networks, and healthcare. In the context of machine learning, event sequences can be seen as a special type of tabular data with annotated timestamps. Despite the importance of ESs modeling and analysis, little effort was made in adapting large language models (LLMs) to the ESs domain. In this paper, we highlight the common difficulties of ESs processing and propose a novel solution capable of solving multiple downstream tasks with little or no finetuning. In particular, we solve the problem of working with long sequences and improve time and numeric features processing. The resulting method, called ESQA, effectively utilizes the power of LLMs and, according to extensive experiments, achieves state-of-the-art results in the ESs domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google