Cooperative data-driven modeling

要約

機械学におけるデータ駆動型モデリングは、最近の機械学習、特に人工ニューラル ネットワークの進歩に基づいて急速に進化しています。
この分野が成熟するにつれて、さまざまなグループによって作成された新しいデータやモデルが利用可能になり、協力的なモデリングの可能性が開かれます。
ただし、人工ニューラル ネットワークは壊滅的な忘却に悩まされます。つまり、新しいタスクでトレーニングされると、古いタスクの実行方法を忘れてしまいます。
既存のモデルを新しいタスクに適応させると、他の人が訓練した以前のタスクのパフォーマンスに影響を与えるため、これにより協力が妨げられます。
著者らは、この問題に対処する継続的な学習方法を開発し、ここで初めて固体力学に適用しました。
特に、この方法はリカレント ニューラル ネットワークに適用され、履歴依存の可塑性挙動を予測しますが、他のアーキテクチャ (フィードフォワード、畳み込みなど) や他の現象の予測にも使用できます。
この研究は、ますます困難な問題を解決するために整備士コミュニティ間の協力戦略を促進する継続的な学習に関する将来の開発を生み出すことを目的としています。
選択した継続的学習戦略は、より少ないデータを使用して、モデルごとに 1 つの法則の標準的な (非協力的な) トレーニングと同じ誤差を達成しながら、いくつかの構成法則を忘れることなく順次学習できることを示します。

要約(オリジナル)

Data-driven modeling in mechanics is evolving rapidly based on recent machine learning advances, especially on artificial neural networks. As the field matures, new data and models created by different groups become available, opening possibilities for cooperative modeling. However, artificial neural networks suffer from catastrophic forgetting, i.e. they forget how to perform an old task when trained on a new one. This hinders cooperation because adapting an existing model for a new task affects the performance on a previous task trained by someone else. The authors developed a continual learning method that addresses this issue, applying it here for the first time to solid mechanics. In particular, the method is applied to recurrent neural networks to predict history-dependent plasticity behavior, although it can be used on any other architecture (feedforward, convolutional, etc.) and to predict other phenomena. This work intends to spawn future developments on continual learning that will foster cooperative strategies among the mechanics community to solve increasingly challenging problems. We show that the chosen continual learning strategy can sequentially learn several constitutive laws without forgetting them, using less data to achieve the same error as standard (non-cooperative) training of one law per model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google