Distribution-Free Conformal Joint Prediction Regions for Neural Marked Temporal Point Processes

要約

連続時間内で不規則な間隔で観察されるラベル付きイベントのシーケンスは、さまざまな分野にわたって遍在しています。
Temporal Point Processes (TPP) は、これらのシーケンスをモデル化するための数学的フレームワークを提供し、将来のイベントの到着時刻やそれに関連付けられたマークと呼ばれるラベルの予測などの推論を可能にします。
ただし、モデルの仕様の誤りやトレーニング データの欠如により、これらの確率モデルは、真の未知の基礎プロセスの近似が不十分になる可能性があり、そこから抽出された予測領域は基礎となる不確実性の信頼性の低い推定値になる可能性があります。
この論文では、等角予測のフレームワークを介して、ニューラル TPP モデルの不確実性を定量化するためのより信頼性の高い方法を開発します。
主な目的は、有限サンプルの限界カバレッジ保証を備えた、到着時間とマークの分布のない結合予測領域を生成することです。
主な課題は、分布を仮定せずに、厳密に正の連続応答とカテゴリ応答の両方を処理することです。
まず、イベントの到着時間とマークの個々の予測領域を組み合わせる、単純だが過度に保守的なアプローチを検討します。
次に、イベント到着時間とマークの結合予測密度から導出された二変量の最高密度領域に基づいた、より効果的な方法を導入します。
この方法では、これら 2 つの変数間の依存関係を利用することで、2 つのありそうもない組み合わせが除外され、事前に指定されたカバレッジ レベルを達成しながら、より鮮明な予測領域が得られます。
また、等角回帰および分類技術を通じて、到着時間とマークの個々の単変量予測領域の生成についても調査します。
さらに、条件付き補償のより強力な概念を調査します。
最後に、シミュレートされたデータセットと現実世界のデータセットの両方に対する広範な実験を通じて、これらの手法の有効性と効率性を評価します。

要約(オリジナル)

Sequences of labeled events observed at irregular intervals in continuous time are ubiquitous across various fields. Temporal Point Processes (TPPs) provide a mathematical framework for modeling these sequences, enabling inferences such as predicting the arrival time of future events and their associated label, called mark. However, due to model misspecification or lack of training data, these probabilistic models may provide a poor approximation of the true, unknown underlying process, with prediction regions extracted from them being unreliable estimates of the underlying uncertainty. This paper develops more reliable methods for uncertainty quantification in neural TPP models via the framework of conformal prediction. A primary objective is to generate a distribution-free joint prediction region for the arrival time and mark, with a finite-sample marginal coverage guarantee. A key challenge is to handle both a strictly positive, continuous response and a categorical response, without distributional assumptions. We first consider a simple but overly conservative approach that combines individual prediction regions for the event arrival time and mark. Then, we introduce a more effective method based on bivariate highest density regions derived from the joint predictive density of event arrival time and mark. By leveraging the dependencies between these two variables, this method exclude unlikely combinations of the two, resulting in sharper prediction regions while still attaining the pre-specified coverage level. We also explore the generation of individual univariate prediction regions for arrival times and marks through conformal regression and classification techniques. Moreover, we investigate the stronger notion of conditional coverage. Finally, through extensive experimentation on both simulated and real-world datasets, we assess the validity and efficiency of these methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google