Differentiable Earth Mover’s Distance for Data Compression at the High-Luminosity LHC

要約

Earth Mover’s distance (EMD) は画像の認識と分類に役立つメトリックですが、その通常の実装は微分可能ではないか、勾配降下法を介して他のアルゴリズムをトレーニングするための損失関数として使用するには遅すぎます。
この論文では、畳み込みニューラル ネットワーク (CNN) をトレーニングして微分可能で高速な EMD 近似を学習し、それがコンピューティング集約型の EMD 実装の代替として使用できることを実証します。
私たちは、この微分可能な近似を、CERN の高輝度 LHC でのデータ圧縮のためのオートエンコーダーにヒントを得たニューラル ネットワーク (エンコーダー NN) のトレーニングに適用します。
このエンコーダ NN の目的は、粒子検出器内のエネルギー蓄積の分布に関連する情報を保存しながらデータを圧縮することです。
微分可能 EMD CNN を使用してトレーニングされたエンコーダー NN のパフォーマンスが、平均二乗誤差に基づく損失関数を使用したトレーニングのパフォーマンスを上回ることを示します。

要約(オリジナル)

The Earth mover’s distance (EMD) is a useful metric for image recognition and classification, but its usual implementations are not differentiable or too slow to be used as a loss function for training other algorithms via gradient descent. In this paper, we train a convolutional neural network (CNN) to learn a differentiable, fast approximation of the EMD and demonstrate that it can be used as a substitute for computing-intensive EMD implementations. We apply this differentiable approximation in the training of an autoencoder-inspired neural network (encoder NN) for data compression at the high-luminosity LHC at CERN. The goal of this encoder NN is to compress the data while preserving the information related to the distribution of energy deposits in particle detectors. We demonstrate that the performance of our encoder NN trained using the differentiable EMD CNN surpasses that of training with loss functions based on mean squared error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google