A Comprehensive Survey on Rare Event Prediction

要約

まれなイベントの予測には、機械学習とデータ分析を使用して、確率の低いイベントを特定して予測することが含まれます。
一般的なイベントの頻度がまれなイベントの頻度を大幅に上回っている不均衡なデータ分布のため、機械学習パイプラインの各ステップ (つまり、データ処理からアルゴリズム、評価プロトコルに至る) 内で特殊な手法を使用する必要があります。
まれなイベントの発生を予測することは、インダストリー 4.0 などの実世界のアプリケーションにとって重要であり、統計学習と機械学習の活発な研究分野です。
このホワイトペーパーでは、レアイベントデータ、データ処理、アルゴリズムアプローチ、評価アプローチの 4 つの側面に沿って、レアイベント予測の現在のアプローチを包括的にレビューします。
具体的には、さまざまなモダリティ (数値、画像、テキスト、音声) からの 73 のデータセット、データ処理の 4 つの主要カテゴリ、5 つの主要なアルゴリズム グループ、および 2 つの広範な評価アプローチを検討します。
この論文は、現在の文献のギャップを特定し、まれな事象を予測する際の課題に焦点を当てることを目的としています。
また、潜在的な研究の方向性も示唆しており、実務者や研究者を導くのに役立ちます。

要約(オリジナル)

Rare event prediction involves identifying and forecasting events with a low probability using machine learning and data analysis. Due to the imbalanced data distributions, where the frequency of common events vastly outweighs that of rare events, it requires using specialized methods within each step of the machine learning pipeline, i.e., from data processing to algorithms to evaluation protocols. Predicting the occurrences of rare events is important for real-world applications, such as Industry 4.0, and is an active research area in statistical and machine learning. This paper comprehensively reviews the current approaches for rare event prediction along four dimensions: rare event data, data processing, algorithmic approaches, and evaluation approaches. Specifically, we consider 73 datasets from different modalities (i.e., numerical, image, text, and audio), four major categories of data processing, five major algorithmic groupings, and two broader evaluation approaches. This paper aims to identify gaps in the current literature and highlight the challenges of predicting rare events. It also suggests potential research directions, which can help guide practitioners and researchers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google