Explainable data-driven modeling via mixture of experts: towards effective blending of grey and black-box models

要約

第一原理に基づいた従来のモデルは、システムの複雑さが増すにつれて精度が低下することがよくあります。
逆に、機械学習のアプローチは強力ではありますが、解釈可能性と物理的制約の処理において課題に直面しています。
これらのモデルを組み合わせようとすると、精度と複雑さのバランスを見つけるのが難しくなることがよくあります。
これらの問題に対処するために、私たちは「専門家の混合」の理論的根拠に基づいた包括的な枠組みを提案します。
このアプローチにより、第一原理ベースの事前分布の可能性を最大限に活用して、多様なローカル モデルのデータベースの融合が可能になります。
当社のソリューションは、機械学習とシステム識別の両方の技術を利用して専門家の独立したトレーニングを可能にし、協調学習パラダイムと競争学習パラダイムの両方をサポートします。
解釈可能性を高めるために、専門家の組み合わせにおける突然の変化にペナルティを与えます。
実験結果は、対象の現象によく似た解釈可能なモデルの組み合わせを生成する際の私たちのアプローチの有効性を検証します。

要約(オリジナル)

Traditional models grounded in first principles often struggle with accuracy as the system’s complexity increases. Conversely, machine learning approaches, while powerful, face challenges in interpretability and in handling physical constraints. Efforts to combine these models often often stumble upon difficulties in finding a balance between accuracy and complexity. To address these issues, we propose a comprehensive framework based on a ‘mixture of experts’ rationale. This approach enables the data-based fusion of diverse local models, leveraging the full potential of first-principle-based priors. Our solution allows independent training of experts, drawing on techniques from both machine learning and system identification, and it supports both collaborative and competitive learning paradigms. To enhance interpretability, we penalize abrupt variations in the expert’s combination. Experimental results validate the effectiveness of our approach in producing an interpretable combination of models closely resembling the target phenomena.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google