ClassiFIM: An Unsupervised Method To Detect Phase Transitions

要約

フィッシャー情報量の推定 (FIM 推定) は、物理学者によって提案された問題である相転移の教師なし学習で生じる重要なタスクです。
この研究では、厳密な評価指標 distMSE、distMSEPS、および distRE を定義することでタスクの定義を完了し、FIM 推定タスクを解決するために設計された新しい機械学習手法である ClassiFIM を導入します。
相転移の教師なし学習のための既存の方法とは異なり、ClassiFIM は明確に定義された量 (FIM) を直接推定するため、同じ推定を行う現在および将来の他の方法と厳密に比較できます。
ClassiFIM は、FIM 推定タスクのデータセットを補助二値分類タスクのデータセットに変換し、後者のモデルの選択とトレーニングを行います。
我々は、ClassiFIM の出力が、無限のデータセット サイズの制限および特定の規則性条件下で正確な FIM に近づくことを証明します。
私たちは、古典的および量子的相転移を記述するデータセットを含む複数のデータセットに ClassiFIM を実装し、適度な計算リソースで良好なグラウンド トゥルース近似を達成できることを発見しました。
さらに、同じデータセット上で相転移位置を教師なしで推定するための 2 つの代替の最先端手法を独立して実装し、ClassiFIM が少なくともこれらの他の手法と同様にそのような位置を予測することを発見しました。
私たちの方法の汎用性を強調するために、さまざまなハイパーパラメーターの選択に対して MNIST でトレーニングされた CNN の出力で構成される MNIST-CNN データセットも提案および生成します。
このデータセットで ClassiFIM を使用すると、MNIST でトレーニングされた CNN の画像予測ペアの分布に相転移があることが示唆され、物理学を超えた広い範囲の FIM 推定が実証されています。

要約(オリジナル)

Estimation of the Fisher Information Metric (FIM-estimation) is an important task that arises in unsupervised learning of phase transitions, a problem proposed by physicists. This work completes the definition of the task by defining rigorous evaluation metrics distMSE, distMSEPS, and distRE and introduces ClassiFIM, a novel machine learning method designed to solve the FIM-estimation task. Unlike existing methods for unsupervised learning of phase transitions, ClassiFIM directly estimates a well-defined quantity (the FIM), allowing it to be rigorously compared to any present and future other methods that estimate the same. ClassiFIM transforms a dataset for the FIM-estimation task into a dataset for an auxiliary binary classification task and involves selecting and training a model for the latter. We prove that the output of ClassiFIM approaches the exact FIM in the limit of infinite dataset size and under certain regularity conditions. We implement ClassiFIM on multiple datasets, including datasets describing classical and quantum phase transitions, and find that it achieves a good ground truth approximation with modest computational resources. Furthermore, we independently implement two alternative state-of-the-art methods for unsupervised estimation of phase transition locations on the same datasets and find that ClassiFIM predicts such locations at least as well as these other methods. To emphasize the generality of our method, we also propose and generate the MNIST-CNN dataset, which consists of the output of CNNs trained on MNIST for different hyperparameter choices. Using ClassiFIM on this dataset suggests there is a phase transition in the distribution of image-prediction pairs for CNNs trained on MNIST, demonstrating the broad scope of FIM-estimation beyond physics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google