Audio-based AI classifiers show no evidence of improved COVID-19 screening over simple symptoms checkers

要約

最近の研究では、音声録音でトレーニングされた AI 分類子が、重症急性呼吸器症候群コロナウイルス 2 (SARSCoV2) 感染状態を正確に予測できることが報告されています。
ここでは、英国政府のパンデミック対応の一環として、音声ベースの深層学習分類器に関する大規模な研究を行っています。
逆転写ポリメラーゼ連鎖反応 (PCR) テストの結果を含むリンクされたメタデータを持つ 67,842 人の個人から音声録音のデータセットを収集して分析し、そのうち 23,514 人が SARS CoV 2 の陽性反応を示しました。被験者は英国政府の国民健康サービス テストを通じて募集されました。
and-Trace プログラムとコミュニティ感染のリアルタイム評価 (REACT) 無作為化監視調査。
データセットの未調整の分析では、AI 分類子は SARS-CoV-2 感染状態を高精度 (曲線下の受信者動作特性領域 (ROCAUC) 0.846 [0.838、0.854]) で予測し、以前の研究の結果と一致しています。
ただし、年齢、性別、自己報告された症状などの測定された交絡因子を照合した後、分類子のパフォーマンスははるかに弱くなります (ROC-AUC 0.619 [0.594, 0.644])。
実際の設定で音声ベースの分類器の有用性を定量化すると、ユーザーが報告した症状に基づく単純な予測スコアが優れていることがわかりました。

要約(オリジナル)

Recent work has reported that AI classifiers trained on audio recordings can accurately predict severe acute respiratory syndrome coronavirus 2 (SARSCoV2) infection status. Here, we undertake a large scale study of audio-based deep learning classifiers, as part of the UK governments pandemic response. We collect and analyse a dataset of audio recordings from 67,842 individuals with linked metadata, including reverse transcription polymerase chain reaction (PCR) test outcomes, of whom 23,514 tested positive for SARS CoV 2. Subjects were recruited via the UK governments National Health Service Test-and-Trace programme and the REal-time Assessment of Community Transmission (REACT) randomised surveillance survey. In an unadjusted analysis of our dataset AI classifiers predict SARS-CoV-2 infection status with high accuracy (Receiver Operating Characteristic Area Under the Curve (ROCAUC) 0.846 [0.838, 0.854]) consistent with the findings of previous studies. However, after matching on measured confounders, such as age, gender, and self reported symptoms, our classifiers performance is much weaker (ROC-AUC 0.619 [0.594, 0.644]). Upon quantifying the utility of audio based classifiers in practical settings, we find them to be outperformed by simple predictive scores based on user reported symptoms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google