Efficient Discovery of Significant Patterns with Few-Shot Resampling

要約

有意パターン マイニングは、トランザクション データのマイニングにおける基本的なタスクであり、特定の特徴 (ターゲット) の値に大きく関連するパターンを識別する必要があります。
生物医学、バスケット市場分析、ソーシャル ネットワークなどのいくつかのアプリケーションでは、ターゲットとの関連が基礎となる集団またはプロセスに関して定義されているパターンを発見することが目標であり、データセットは観察の集合のみを表します。
またはサンプル。
パターンとターゲットの関連性を捉える自然な方法は、その統計的有意性を考慮し、パターンとターゲットの間の独立性の (帰無) 仮説からの逸脱を評価することです。
統計的に有意なパターンを見つけるためにいくつかのアルゴリズムが提案されていますが、依然として計算量の多いタスクであり、サブグループなどの複雑なパターンの場合、効率的な解決策は存在しません。
我々は、誤発見の確率を厳密に保証して統計的に有意なパターンを特定する効率的なアルゴリズムである FSR を紹介します。
FSR は、アイテムセット、連続パターン、サブグループなど、最も一般的に考慮されるパターンの一部をキャプチャする、重要なパターンをマイニングするための新しい一般的なフレームワークに基づいて構築されています。
FSR は、i.i.d. を割り当てることによって取得された、少数のリサンプリングされたデータセットを使用します。
パターンの重要性を測定する品質統計の最高偏差を厳密に制限するために、各トランザクションにラベルを付けます。
FSR は、少数のリサンプリングされたデータセットをマイニングする必要がある最高偏差の新しい厳しい境界に基づいて構築されていると同時に、重要なパターンを発見する際に高い効果を発揮します。
テスト ケースとして、重要なサブグループ マイニングを検討します。いくつかの実際のデータセットに対する評価では、少数のリサンプリングされたデータセットを必要としながら、FSR が重要なサブグループの発見に効果的であることが示されています。

要約(オリジナル)

Significant pattern mining is a fundamental task in mining transactional data, requiring to identify patterns significantly associated with the value of a given feature, the target. In several applications, such as biomedicine, basket market analysis, and social networks, the goal is to discover patterns whose association with the target is defined with respect to an underlying population, or process, of which the dataset represents only a collection of observations, or samples. A natural way to capture the association of a pattern with the target is to consider its statistical significance, assessing its deviation from the (null) hypothesis of independence between the pattern and the target. While several algorithms have been proposed to find statistically significant patterns, it remains a computationally demanding task, and for complex patterns such as subgroups, no efficient solution exists. We present FSR, an efficient algorithm to identify statistically significant patterns with rigorous guarantees on the probability of false discoveries. FSR builds on a novel general framework for mining significant patterns that captures some of the most commonly considered patterns, including itemsets, sequential patterns, and subgroups. FSR uses a small number of resampled datasets, obtained by assigning i.i.d. labels to each transaction, to rigorously bound the supremum deviation of a quality statistic measuring the significance of patterns. FSR builds on novel tight bounds on the supremum deviation that require to mine a small number of resampled datasets, while providing a high effectiveness in discovering significant patterns. As a test case, we consider significant subgroup mining, and our evaluation on several real datasets shows that FSR is effective in discovering significant subgroups, while requiring a small number of resampled datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google