A method for incremental discovery of financial event types based on anomaly detection

要約

金融分野のイベント データセットは、多くの場合、実際のアプリケーション シナリオに基づいて構築されます。そのイベント タイプは、シナリオの制約により、再利用性が低くなります。
同時に、大量かつ多様な新しい金融ビッグ データは、特定のシナリオ用に定義されたイベント タイプに限定することはできません。
少数のイベントタイプというこの制限は、主要な金融イベントの予測や金融イベントの波及効果の分析など、より複雑なタスクに対する私たちの研究ニーズを満たしていません。
このホワイト ペーパーでは、イベント タイプのインクリメンタルな発見を達成するために、3 段階のアプローチが提案されています。
既存の注釈付き金融イベント データセットの場合、3 段階のアプローチで構成されます。元のイベント タイプと未知のイベント タイプが混在する一連の金融イベント データの場合、異常検出を伴う半教師付きディープ クラスタリング モデルを最初に適用してデータを分類します。
正常イベントと異常イベントに分類されます。異常イベントとは、既知のタイプに属さないイベントです。
次に、通常のイベントは適切なイベント タイプでタグ付けされ、異常なイベントは適度にクラスター化されます。
最後に、クラスタ キーワード抽出メソッドを使用して、新しいイベント クラスタのイベントのタイプ名を推奨し、新しいイベント タイプを段階的に発見します。
提案された方法は、実際のデータセットでの新しいイベントタイプの漸進的な発見に効果的です。

要約(オリジナル)

Event datasets in the financial domain are often constructed based on actual application scenarios, and their event types are weakly reusable due to scenario constraints; at the same time, the massive and diverse new financial big data cannot be limited to the event types defined for specific scenarios. This limitation of a small number of event types does not meet our research needs for more complex tasks such as the prediction of major financial events and the analysis of the ripple effects of financial events. In this paper, a three-stage approach is proposed to accomplish incremental discovery of event types. For an existing annotated financial event dataset, the three-stage approach consists of: for a set of financial event data with a mixture of original and unknown event types, a semi-supervised deep clustering model with anomaly detection is first applied to classify the data into normal and abnormal events, where abnormal events are events that do not belong to known types; then normal events are tagged with appropriate event types and abnormal events are reasonably clustered. Finally, a cluster keyword extraction method is used to recommend the type names of events for the new event clusters, thus incrementally discovering new event types. The proposed method is effective in the incremental discovery of new event types on real data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google