A Plug-and-Play Bregman ADMM Module for Inferring Event Branches in Temporal Point Processes

要約

時間点プロセスによって生成されるイベント シーケンスは、多くの場合、過去のイベントと現在のイベントの間のトリガー関係を捕捉する、隠れた構造化されたイベント分岐プロセスに関連付けられます。
この研究では、Bregman ADMM (BADMM) アルゴリズムに基づく新しいプラグ アンド プレイ モジュールを設計します。このモジュールは、時間点プロセス (TPP) の最尤推定フレームワークでイベント シーケンスに関連付けられたイベント分岐を推論します。
具体的には、イベント分岐の推論を、既存の TPP モデルまたはその学習パラダイムに組み込まれている、スパースかつ低ランクの制約の下でのイベント遷移行列の最適化問題として定式化します。
この最適化問題は、それぞれ部分空間クラスタリングとスパース グループ ラッソに基づいて実装でき、Bregman ADMM アルゴリズムを使用して解決できます。その展開により、提案されている BADMM モジュールが得られます。
期待値最大化アルゴリズムによって古典的な TPP (ホークス プロセスなど) を学習する場合、BADMM モジュールは E ステップで構造化された責任マトリックスを導出するのに役立ちます。
同様に、BADMM モジュールは、セルフ アテンション層を備えたニューラル TPP の低ランクのスパース アテンション マップを導出するのに役立ちます。
構造化された責任マトリックスと注意マップは、学習されたイベント遷移マトリックスとして機能し、イベントの分岐、たとえば、孤立したイベントや後続の多くのイベントを引き起こす重要なイベントの推論を示します。
合成データと実世界データの両方に関する実験では、BADMM モジュールを既存の TPP モデルと学習パラダイムに接続すると、モデルのパフォーマンスが向上し、解釈可能な構造化されたイベント ブランチが提供されることがわかりました。
コードは \url{https://github.com/qingmeiwangdaily/BADMM_TPP} で入手できます。

要約(オリジナル)

An event sequence generated by a temporal point process is often associated with a hidden and structured event branching process that captures the triggering relations between its historical and current events. In this study, we design a new plug-and-play module based on the Bregman ADMM (BADMM) algorithm, which infers event branches associated with event sequences in the maximum likelihood estimation framework of temporal point processes (TPPs). Specifically, we formulate the inference of event branches as an optimization problem for the event transition matrix under sparse and low-rank constraints, which is embedded in existing TPP models or their learning paradigms. We can implement this optimization problem based on subspace clustering and sparse group-lasso, respectively, and solve it using the Bregman ADMM algorithm, whose unrolling leads to the proposed BADMM module. When learning a classic TPP (e.g., Hawkes process) by the expectation-maximization algorithm, the BADMM module helps derive structured responsibility matrices in the E-step. Similarly, the BADMM module helps derive low-rank and sparse attention maps for the neural TPPs with self-attention layers. The structured responsibility matrices and attention maps, which work as learned event transition matrices, indicate event branches, e.g., inferring isolated events and those key events triggering many subsequent events. Experiments on both synthetic and real-world data show that plugging our BADMM module into existing TPP models and learning paradigms can improve model performance and provide us with interpretable structured event branches. The code is available at \url{https://github.com/qingmeiwangdaily/BADMM_TPP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google