Lifelong Machine Learning Potentials

要約

正確な量子化学データでトレーニングされた機械学習の可能性 (MLP) は、高い精度を維持しながら、計算上の要求はほとんどありません。
欠点として、個々のシステムごとにトレーニングする必要があります。
近年、膨大な数の MLP がゼロからトレーニングされています。これは、通常、追加のデータを学習するには、以前に取得した知識を忘れないようにすべてのデータで再度トレーニングする必要があるためです。
さらに、MLP の最も一般的な構造記述子は、多数の異なる化学元素を効率的に表すことができません。
この作業では、周期表の構造特性と要素情報を組み合わせた要素包含原子中心対称関数 (eeACSF) を導入することにより、これらの問題に取り組みます。
これらの eeACSF は、生涯にわたる機械学習の可能性 (lMLP) を開発するための鍵です。
不確実性の定量化を利用して、事前に定義されたレベルの精度を確保できるため、事前にトレーニングされた固定の MLP を超えて、継続的に適応する lMLP に到達できます。
lMLP の適用性を新しいシステムに拡張するために、継続的な学習戦略を適用して、新しいデータの継続的なストリームに対する自律的でオンザフライのトレーニングを可能にします。
ディープ ニューラル ネットワークのトレーニングのために、データのリハーサル、パラメーターの正則化、およびモデルのアーキテクチャに依存する継続的回復力 (CoRe) オプティマイザーと増分学習戦略を提案します。

要約(オリジナル)

Machine learning potentials (MLPs) trained on accurate quantum chemical data can retain the high accuracy, while inflicting little computational demands. On the downside, they need to be trained for each individual system. In recent years, a vast number of MLPs has been trained from scratch because learning additional data typically requires to train again on all data to not forget previously acquired knowledge. Additionally, most common structural descriptors of MLPs cannot represent efficiently a large number of different chemical elements. In this work, we tackle these problems by introducing element-embracing atom-centered symmetry functions (eeACSFs) which combine structural properties and element information from the periodic table. These eeACSFs are a key for our development of a lifelong machine learning potential (lMLP). Uncertainty quantification can be exploited to transgress a fixed, pre-trained MLP to arrive at a continuously adapting lMLP, because a predefined level of accuracy can be ensured. To extend the applicability of an lMLP to new systems, we apply continual learning strategies to enable autonomous and on-the-fly training on a continuous stream of new data. For the training of deep neural networks, we propose the continual resilient (CoRe) optimizer and incremental learning strategies relying on rehearsal of data, regularization of parameters, and the architecture of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google