Fast Unsupervised Deep Outlier Model Selection with Hypernetworks

要約

外れ値検出 (OD) には、数多くの技術に関する豊富な文献があり、多くの用途が見つかります。
ディープ ニューラル ネットワーク ベースの OD (DOD) は、ディープ ラーニングにおける多くの進歩のおかげで、最近注目が高まっています。
このペーパーでは、教師なし DOD に関する重要だが十分に研究されていない課題、つまり効果的なハイパーパラメータ (HP) チューニング/モデルの選択について考察します。
これまでのいくつかの研究では、HP に対する OD モデルの感度が報告されていますが、HP の長いリストを示す最新の DOD モデルにとって、これは非常に重要になっています。
DOD モデルをチューニングするための HYPER を導入し、次の 2 つの基本的な課題に取り組みます。(1) 監視なしでの検証 (ラベル付けされた異常がないため)、(2) HP/モデル空間の効率的な検索 (HP 数の急激な増加による)
）。
重要なアイデアは、メイン DOD モデルの最適な重みに HP をマッピングする新しいハイパーネットワーク (HN) を設計してトレーニングすることです。
さらに、HYPER は、多くの DOD モデル (さまざまな HP に対応する) の重みを動的に生成できる単一の HN を活用し、大幅な高速化を実現します。
さらに、ラベル付きの履歴 OD タスクに関するメタ学習を採用して、プロキシ検証関数をトレーニングします。同様に、提案した HN で効率的にトレーニングされます。
35 の OD タスクに関する広範な実験により、HYPER が 8 つのベースラインに対して高いパフォーマンスを達成し、効率が大幅に向上することが示されました。

要約(オリジナル)

Outlier detection (OD) finds many applications with a rich literature of numerous techniques. Deep neural network based OD (DOD) has seen a recent surge of attention thanks to the many advances in deep learning. In this paper, we consider a critical-yet-understudied challenge with unsupervised DOD, that is, effective hyperparameter (HP) tuning/model selection. While several prior work report the sensitivity of OD models to HPs, it becomes ever so critical for the modern DOD models that exhibit a long list of HPs. We introduce HYPER for tuning DOD models, tackling two fundamental challenges: (1) validation without supervision (due to lack of labeled anomalies), and (2) efficient search of the HP/model space (due to exponential growth in the number of HPs). A key idea is to design and train a novel hypernetwork (HN) that maps HPs onto optimal weights of the main DOD model. In turn, HYPER capitalizes on a single HN that can dynamically generate weights for many DOD models (corresponding to varying HPs), which offers significant speed-up. In addition, it employs meta-learning on historical OD tasks with labels to train a proxy validation function, likewise trained with our proposed HN efficiently. Extensive experiments on 35 OD tasks show that HYPER achieves high performance against 8 baselines with significant efficiency gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google