Realizing Flame State Monitoring with Very Few Visual or Infrared Images via Few-Shot Learning

要約

画像ベースの燃焼モニタリングにおける現在の機械学習の成功は、大量のデータに基づいており、産業用アプリケーションではコストがかかり、不可能ですらあります。
この矛盾に対処するために、燃焼監視に初めて少数ショット学習を導入します。
k Nearest Neighbors を結合した Siamese Network (SN-kNN) と Prototypic Network (PN) の 2 つのアルゴリズムが試みられています。
また、これまでの研究のように純粋に視覚画像を利用するのではなく、赤外線（IR）画像も試みています。
この作業では、両方の画像形式で 2 つのアルゴリズムのトレーニング プロセス、テスト パフォーマンス、および推論速度を分析し、t-SNE を使用して学習した特徴を視覚化します。
この結果は、SN-kNN と PN の両方が、炎の状態ごとに 20 枚の画像で学習する炎の状態を区別できることを示しています。
PN 画像と IR 画像の組み合わせによって実現される最悪のパフォーマンスでも、精度、精度、再現率、および F1 スコアはすべて 0.95 を超えています。
画像を観察して特徴を視覚化することで、視覚的な画像はクラス間でより劇的な違いがあり、クラス内でより一貫したパターンを持っていることがわかります。これにより、視覚的な画像のトレーニング速度とモデルのパフォーマンスが向上します。
対照的に、比較的「低品質」の IR 画像により、PN は識別可能なプロトタイプを抽出することが難しくなり、パフォーマンスが相対的に低下しますが、分類をサポートするトレーニング セット全体を使用すると、SN-kNN は IR 画像とうまく連携します。
一方、アーキテクチャ設計の恩恵を受けて、PN は SN-kNN よりもトレーニングと推論の速度がはるかに高速です。
ここでの作業では、アルゴリズムと画像形式の両方の特性を初めて分析し、燃焼監視タスクでそれらをさらに利用するためのガイダンスを提供します。

要約(オリジナル)

The success of current machine learning on image-based combustion monitoring is based on massive data, which is costly even impossible for industrial applications. To address this conflict, we introduce few-shot learning to combustion monitoring for the first time. Two algorithms, Siamese Network coupled with k Nearest Neighbors (SN-kNN) and Prototypical Network (PN), are attempted. Besides, rather than purely utilizing visual images as previous studies, we also attempt Infrared (IR) images. In this work, we analyze the training process, test performance and inference speed of two algorithms on both image formats, and also use t-SNE to visualize learned features. The results demonstrate that both SN-kNN and PN are capable to distinguish flame states from learning with 20 images per flame state. The worst performance, which is realized by combination of PN and IR images, still possesses precision, accuracy, recall, and F1-score all above 0.95. Through observing images and visualizing features, we realize that visual images have more dramatic differences between classes and have more consistent patterns inside the class, which makes the training speed and model performance on visual images is better. In contrast, the relatively ‘low-quality’ IR images makes PN hard to extract distinguishable prototypes, which causes the relative weak performance, but with the whole training set to support classification, SN-kNN cooperates well with IR images. On the other hand, benefited from the architecture design, PN has a much faster speed in training and inference than SN-kNN. The work here analyzes the characteristics of both algorithms and image formats for the first time, which provides the guidance for further utilizing them in combustion monitoring tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google