Concise Logarithmic Loss Function for Robust Training of Anomaly Detection Model

要約

タイトル：堅牢な異常検知モデルのコンパクトな対数損失関数

要約：
– 強化学習によらず、または最小限のドメイン知識で異常検知モデルを設立できることから、深層学習ベースのアルゴリズムは広く採用されている。
– 人工ニューラルネットワークをより安定してトレーニングするには、適切なニューラルネットワーク構造または損失関数を定義することが必要であり、異常検知モデルのトレーニングには、平均二乗誤差（MSE）関数が普及している。
– 一方、新しい損失関数である、対数平均二乗誤差（LMSE）を提案し、より安定したニューラルネットワークのトレーニングを目指す。
– LMSE関数は、数学的比較、逆伝播の微分領域での可視化、トレーニングプロセスでの損失収束、異常検知パフォーマンスの観点から、多様な比較をカバーしている。
– 全体的に見て、LMSEは、損失収束の強さ、異常検知パフォーマンスの観点で、既存のMSE関数よりも優れていると考えられる。
– LMSE関数は、異常検知モデルだけでなく、一般の生成ニューラルネットワークのトレーニングにも適用できると期待されている。

要約(オリジナル)

Recently, deep learning-based algorithms are widely adopted due to the advantage of being able to establish anomaly detection models without or with minimal domain knowledge of the task. Instead, to train the artificial neural network more stable, it should be better to define the appropriate neural network structure or the loss function. For the training anomaly detection model, the mean squared error (MSE) function is adopted widely. On the other hand, the novel loss function, logarithmic mean squared error (LMSE), is proposed in this paper to train the neural network more stable. This study covers a variety of comparisons from mathematical comparisons, visualization in the differential domain for backpropagation, loss convergence in the training process, and anomaly detection performance. In an overall view, LMSE is superior to the existing MSE function in terms of strongness of loss convergence, anomaly detection performance. The LMSE function is expected to be applicable for training not only the anomaly detection model but also the general generative neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI