DeepTopPush: Simple and Scalable Method for Accuracy at the Top

要約

最上位の精度は、パフォーマンスが少数の関連する (最上位の) サンプルでのみ評価される特別なクラスのバイナリ分類問題です。
アプリケーションには、手作業による (費用のかかる) 後処理を伴う情報検索システムまたはプロセスが含まれます。
これにより、しきい値を超える無関係なサンプルの数が最小限に抑えられます。
分類器を任意の (深い) ネットワークの形で考え、上部の損失関数を最小化するための新しい方法 DeepTopPush を提案します。
しきい値はすべてのサンプルに依存するため、問題は分解できません。
確率的勾配降下法を修正して、非分解性をエンドツーエンドのトレーニング方法で処理し、現在のミニバッチの値と 1 つの遅延値のみからしきい値を推定する方法を提案します。
視覚認識データセットと 2 つの実世界のアプリケーションで DeepTopPush の優れたパフォーマンスを実証します。
最初のものは、さらなる薬物試験のために少数の分子を選択します。
2 つ目は実際のマルウェア データを使用しており、$10^{-5}$ という非常に低い誤警報率で 46\% のマルウェアを検出しました。

要約(オリジナル)

Accuracy at the top is a special class of binary classification problems where the performance is evaluated only on a small number of relevant (top) samples. Applications include information retrieval systems or processes with manual (expensive) postprocessing. This leads to minimizing the number of irrelevant samples above a threshold. We consider classifiers in the form of an arbitrary (deep) network and propose a new method DeepTopPush for minimizing the loss function at the top. Since the threshold depends on all samples, the problem is non-decomposable. We modify the stochastic gradient descent to handle the non-decomposability in an end-to-end training manner and propose a way to estimate the threshold only from values on the current minibatch and one delayed value. We demonstrate the excellent performance of DeepTopPush on visual recognition datasets and two real-world applications. The first one selects a small number of molecules for further drug testing. The second one uses real malware data, where we detected 46\% malware at an extremely low false alarm rate of $10^{-5}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google