Derandomized Novelty Detection with FDR Control via Conformal E-values

要約

共形推論は、新規性検出のための機械学習アルゴリズムの出力を厳密に校正するための、一般的な分布のない方法を提供する。この手法には多くの長所があるが、ランダムであるという限界があり、同じデータを2回分析したときに異なる結果を導く可能性があり、これはあらゆる発見の解釈を妨げる可能性がある。我々は、統計的有意性を定量化するために、p値の代わりに適切なコンフォーマルe値を活用することで、コンフォーマル推論をより安定したものにすることを提案する。この解決策により、偽発見率を証明的に制御しながら、同じデータの複数の解析から収集された証拠を効果的に集約することができる。さらに、同じデータから注意深く抽出された付加的なサイド情報に基づいて、コンフォーマルe値を重み付けする革新的な方法のおかげもあり、提案手法は、標準的なコンフォーマル推論と比較して、検出力をあまり損なうことなくランダム性を低減できることを示す。合成データと実データを用いたシミュレーションにより、この解決法が、最新の代替手法で得られた推論におけるランダムノイズを除去するのに有効であることが確認され、時にはより高い検出力をもたらすことも確認された。

要約(オリジナル)

Conformal inference provides a general distribution-free method to rigorously calibrate the output of any machine learning algorithm for novelty detection. While this approach has many strengths, it has the limitation of being randomized, in the sense that it may lead to different results when analyzing twice the same data, and this can hinder the interpretation of any findings. We propose to make conformal inferences more stable by leveraging suitable conformal e-values instead of p-values to quantify statistical significance. This solution allows the evidence gathered from multiple analyses of the same data to be aggregated effectively while provably controlling the false discovery rate. Further, we show that the proposed method can reduce randomness without much loss of power compared to standard conformal inference, partly thanks to an innovative way of weighting conformal e-values based on additional side information carefully extracted from the same data. Simulations with synthetic and real data confirm this solution can be effective at eliminating random noise in the inferences obtained with state-of-the-art alternative techniques, sometimes also leading to higher power.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL