Foundation Model Hidden Representations for Heart Rate Estimation from Auscultation

要約

聴診、特にハートサウンドは、重要な兆候情報を提供する非侵襲的な手法です。
最近、音響ベースのバイタルサインに関する洞察を提供するために、自己監督の音響表現基礎モデル（FMS）が提案されています。
ただし、これらの事前に訓練されたFM表現で聴診がエンコードされている程度については、ほとんど探求されていません。
この作業では、公的に利用可能な音韻図（PCG）データセットと心拍数（HR）推定モデルを使用して、6つの音響表現FMSの層ごとの調査を実施します。Hubert、WAV2VEC2、WAVLM、WHISPER、WHISPER、CONTRATIVE LANGUAGE-AUDIO PREPANING（CLAP）、およびInsuse House Clap Model。
さらに、Nie et al。、2024（音響機能に依存している）からベースラインメソッドを実装し、事前に訓練された基礎モデル（FMS）の表現ベクトル全体がベースラインに同等のパフォーマンスを提供することを示します。
特に、社内のCLAPモデルのオーディオエンコーダーからの表現を使用したHR推定は、ベースラインから得られた結果を上回り、ドメインのミスマッチにもかかわらず、さまざまな列車/検証/テストスプリットでより低い平均絶対誤差（MAE）を達成します。

要約(オリジナル)

Auscultation, particularly heart sound, is a non-invasive technique that provides essential vital sign information. Recently, self-supervised acoustic representation foundation models (FMs) have been proposed to offer insights into acoustics-based vital signs. However, there has been little exploration of the extent to which auscultation is encoded in these pre-trained FM representations. In this work, using a publicly available phonocardiogram (PCG) dataset and a heart rate (HR) estimation model, we conduct a layer-wise investigation of six acoustic representation FMs: HuBERT, wav2vec2, wavLM, Whisper, Contrastive Language-Audio Pretraining (CLAP), and an in-house CLAP model. Additionally, we implement the baseline method from Nie et al., 2024 (which relies on acoustic features) and show that overall, representation vectors from pre-trained foundation models (FMs) offer comparable performance to the baseline. Notably, HR estimation using the representations from the audio encoder of the in-house CLAP model outperforms the results obtained from the baseline, achieving a lower mean absolute error (MAE) across various train/validation/test splits despite the domain mismatch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google