Comparing AutoML and Deep Learning Methods for Condition Monitoring using Realistic Validation Scenarios

要約

この研究では、AutoML ツールボックスを使用した状態監視タスクについて、従来の機械学習手法とディープ ラーニングを広範囲に比較しています。
実験では、テストされたすべてのモデルにわたってランダム K 分割相互検証シナリオで一貫した高い精度が明らかになりました。
ただし、同じデータセットに対して Leave-One-Group-Out (LOGO) 相互検証を使用すると、明確な勝者は現れず、現実のシナリオではドメイン シフトが存在することがわかります。
さらに、この研究では、従来の手法とニューラル ネットワークのスケーラビリティと解釈可能性も評価します。
従来の方法は、特徴の識別を支援するモジュール構造により説明可能性を提供します。
対照的に、ニューラル ネットワークでは、入力データ内の重要な領域を視覚化するためにオクルージョン マップなどの特殊な解釈技術が必要です。
最後に、この論文では、特にクラスのバリエーションが限られた状態監視タスクにおける特徴選択の重要性を強調しています。
通常必要となるのは入力信号からのいくつかの特徴だけであるため、複雑度の低いモデルはこのようなタスクには十分であることが証明されています。
要約すると、これらの調査結果は、さまざまなアプローチの長所と限界についての重要な洞察を提供し、貴重なベンチマークを提供し、状態監視アプリケーションに最適な方法を特定することで、現実世界のシナリオへの適用性を高めます。

要約(オリジナル)

This study extensively compares conventional machine learning methods and deep learning for condition monitoring tasks using an AutoML toolbox. The experiments reveal consistent high accuracy in random K-fold cross-validation scenarios across all tested models. However, when employing leave-one-group-out (LOGO) cross-validation on the same datasets, no clear winner emerges, indicating the presence of domain shift in real-world scenarios. Additionally, the study assesses the scalability and interpretability of conventional methods and neural networks. Conventional methods offer explainability with their modular structure aiding feature identification. In contrast, neural networks require specialized interpretation techniques like occlusion maps to visualize important regions in the input data. Finally, the paper highlights the significance of feature selection, particularly in condition monitoring tasks with limited class variations. Low-complexity models prove sufficient for such tasks, as only a few features from the input signal are typically needed. In summary, these findings offer crucial insights into the strengths and limitations of various approaches, providing valuable benchmarks and identifying the most suitable methods for condition monitoring applications, thereby enhancing their applicability in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google