No Free Lunch: The Hazards of Over-Expressive Representations in Anomaly Detection

要約

ディープラーニングを活用した異常検出方法は、主に表現の改善により、最近大幅な進歩を遂げています。
ネットワークの規模を拡大し、その表現をより表現力豊かにすることで、異常検出が無限に向上する可能性があるという仮説を立てたくなります。
この論文では、これに反する理論的および経験的な証拠を提供します。
実際、私たちは、十分に研究されたオブジェクト中心のデータセットを超えて評価された場合、非常に表現力豊かな表現が単純な異常さえも検出できないケースを経験的に示しています。
この現象を調査するために、まず、異常検出性能のための新しい理論上のおもちゃモデルを導入します。
このモデルは、表現の十分性と過剰な表現性の間の根本的なトレードオフを明らかにします。
これは、表現表現力を高めると最終的にパフォーマンスが低下するという、異常検出におけるノーフリーランチ定理の証拠を提供します。
代わりに、対象となる異常に関連する属性に焦点を当てて表現するためのガイダンスを提供する必要があります。
私たちは広範な実証的調査を実施し、最先端の表現では表現力が過剰になることが多く、多くの種類の異常を検出できないことを実証しています。
私たちの調査は、この過剰な表現性が実際の設定で画像の異常検出をどのように損なうかを示しています。
最後に、この問題を軽減するための今後の方向性について説明します。

要約(オリジナル)

Anomaly detection methods, powered by deep learning, have recently been making significant progress, mostly due to improved representations. It is tempting to hypothesize that anomaly detection can improve indefinitely by increasing the scale of our networks, making their representations more expressive. In this paper, we provide theoretical and empirical evidence to the contrary. In fact, we empirically show cases where very expressive representations fail to detect even simple anomalies when evaluated beyond the well-studied object-centric datasets. To investigate this phenomenon, we begin by introducing a novel theoretical toy model for anomaly detection performance. The model uncovers a fundamental trade-off between representation sufficiency and over-expressivity. It provides evidence for a no-free-lunch theorem in anomaly detection stating that increasing representation expressivity will eventually result in performance degradation. Instead, guidance must be provided to focus the representation on the attributes relevant to the anomalies of interest. We conduct an extensive empirical investigation demonstrating that state-of-the-art representations often suffer from over-expressivity, failing to detect many types of anomalies. Our investigation demonstrates how this over-expressivity impairs image anomaly detection in practical settings. We conclude with future directions for mitigating this issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google