Pretraining Respiratory Sound Representations using Metadata and Contrastive Learning

要約

エンドツーエンド方式でアノテーションを使用する教師あり学習に基づく方法は、分類問題の最先端技術です。
ただし、特に低データ領域では、汎化能力が制限される可能性があります。
この研究では、データの適切な表現を学習する複数の口実タスクを解決するために、利用可能なメタデータと組み合わせた教師あり対比学習を使用してこの問題に対処します。
私たちは呼吸音の分類にこのアプローチを適用します。
性別や年齢などの人口統計情報は肺疾患の有無と相関関係があり、この情報を暗黙的にエンコードするシステムを学習することで異常をより適切に検出できる可能性があるため、このタスクはこの設定に適しています。
教師あり対照学習は、同じクラス ラベルを共有するサンプルに対して類似の表現を学習し、異なるクラス ラベルを持つサンプルに対して異なる表現を学習するパラダイムです。
このパラダイムを使用して学習した特徴抽出器は、データから有用な特徴を抽出し、2 つの異なるデータセットで呼吸器異常を分類する際にクロスエントロピーよりも優れた性能を発揮することを示します。
また、クラス ラベルを使用せずにメタデータのみを使用して表現を学習すると、それらのラベルのみを使用したクロス エントロピーを使用した場合と同様のパフォーマンスが得られることも示します。
さらに、複数の教師あり対比学習を使用してクラスラベルとメタデータを組み合わせると、同じ性別および年齢のグループ内で患者をグループ化する追加タスクを解決する教師あり対比学習の拡張であり、より有益な特徴が学習されます。
この研究は、教師付きの対照的な設定、特にクラスの不均衡とデータが少ない設定で複数のメタデータ ソースを使用する可能性を示唆しています。
私たちのコードは https://github.com/ilyassmoummad/scl_icbhi2017 でリリースされています。

要約(オリジナル)

Methods based on supervised learning using annotations in an end-to-end fashion have been the state-of-the-art for classification problems. However, they may be limited in their generalization capability, especially in the low data regime. In this study, we address this issue using supervised contrastive learning combined with available metadata to solve multiple pretext tasks that learn a good representation of data. We apply our approach on respiratory sound classification. This task is suited for this setting as demographic information such as sex and age are correlated with presence of lung diseases, and learning a system that implicitly encode this information may better detect anomalies. Supervised contrastive learning is a paradigm that learns similar representations to samples sharing the same class labels and dissimilar representations to samples with different class labels. The feature extractor learned using this paradigm extract useful features from the data, and we show that it outperforms cross-entropy in classifying respiratory anomalies in two different datasets. We also show that learning representations using only metadata, without class labels, obtains similar performance as using cross entropy with those labels only. In addition, when combining class labels with metadata using multiple supervised contrastive learning, an extension of supervised contrastive learning solving an additional task of grouping patients within the same sex and age group, more informative features are learned. This work suggests the potential of using multiple metadata sources in supervised contrastive settings, in particular in settings with class imbalance and few data. Our code is released at https://github.com/ilyassmoummad/scl_icbhi2017

arxiv情報

提供元, 利用サービス

arxiv.jp, Google