MC-ViViT: Multi-branch Classifier-ViViT to Detect Mild Cognitive Impairment in Older Adults using Facial Videos

要約

タイトル：MC-ViViT：顔の映像を使用して高齢者の軽度認知障害を検出するための多分岐分類器-ViViT

要約：医療画像、アンケート、ビデオなどを使用した深層機械学習モデル（畳み込みニューラルネットワーク）を用いたMild Cognitive Impairment（MCI）の検出に成功することができた。本論文では、顔の特徴を分析することでMCIと正常な認知状態の人々を区別するための新しいMulti-branch Classifier-Video Vision Transformer（MC-ViViT）モデルを提案する。データは、認知機能の改善を目的とした行動介入試験であるI-CONECTから得られた。MC-ViViTは1つの枝でビデオの時空間的特徴を抽出し、MCモジュールで表現を増強する。I-CONECTデータセットは、Hard-EasyとPositive-Negativeのサンプルを含む不均衡なデータセットであり、MC-ViViTの性能を阻害する。本論文では、不均衡問題に対処するために、Focal lossとAD-CORRE lossを組み合わせたHard-EasyとPositive-Negative Samples（HP Loss）の損失関数を提案する。I-CONECTデータセットにおける実験結果から、MC-ViViTがMCIの予測において高い精度を示し、インタビュー映像の一部において90.63％の精度を達成したことが示された。

– MC-ViViTとは、顔の映像を使用して高齢者の軽度認知障害を検出するための新しいDeep Learningモデルである。
– I-CONECTデータセットは、不均衡なHard-EasyとPositive-Negativeサンプルを含み、MC-ViViTの性能を阻害している。
– HP Lossという新しい損失関数を提案し、Focal lossとAD-CORRE lossを組み合わせて、データセットの不均衡問題に対処する。
– 実験結果は、MC-ViViTが高い精度でMCIを検出することができることを示しており、インタビュー映像の一部において90.63％の精度を達成した。

要約(オリジナル)

Deep machine learning models including Convolutional Neural Networks (CNN) have been successful in the detection of Mild Cognitive Impairment (MCI) using medical images, questionnaires, and videos. This paper proposes a novel Multi-branch Classifier-Video Vision Transformer (MC-ViViT) model to distinguish MCI from those with normal cognition by analyzing facial features. The data comes from the I-CONECT, a behavioral intervention trial aimed at improving cognitive function by providing frequent video chats. MC-ViViT extracts spatiotemporal features of videos in one branch and augments representations by the MC module. The I-CONECT dataset is challenging as the dataset is imbalanced containing Hard-Easy and Positive-Negative samples, which impedes the performance of MC-ViViT. We propose a loss function for Hard-Easy and Positive-Negative Samples (HP Loss) by combining Focal loss and AD-CORRE loss to address the imbalanced problem. Our experimental results on the I-CONECT dataset show the great potential of MC-ViViT in predicting MCI with a high accuracy of 90.63\% accuracy on some of the interview videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI