MMASD+: A Novel Dataset for Privacy-Preserving Behavior Analysis of Children with Autism Spectrum Disorder

要約

自閉症スペクトラム障害（ASD）は、社会的相互作用とコミュニケーション信号の理解における重大な課題を特徴としています。
最近、ASD の治療介入では、個人の進行状況を長期的に監視するために、ディープラーニングを活用したコンピューター ビジョン技術の利用が増えています。
これらのモデルは、自閉症コミュニティからのプライベートな非公開データセットでトレーニングされているため、プライバシー保護のデータ共有の問題により、異なるモデル間で結果を比較する際に課題が生じています。
本作ではMMASD+が導入される。
MMASD+ は、3D スケルトン、3D ボディ メッシュ、オプティカル フロー データなどの多様なデータ モダリティで構成されています。
Yolov8 と Deep SORT アルゴリズムの機能を統合して、セラピストと子供を区別し、元のデータセットの大きな障壁に対処します。
さらに、11 の行動タイプと ASD の存在を予測するための Multimodal Transformer フレームワークが提案されています。
このフレームワークは、行動タイプの予測で 95.03%、ASD の存在の予測で 96.42% の精度を達成し、単一のデータ モダリティでトレーニングされたモデルと比較して 10% 以上の向上を示しています。
これらの調査結果は、Multimodal Transformer フレームワーク内で複数のデータ モダリティを統合することの利点を強調しています。

要約(オリジナル)

Autism spectrum disorder (ASD) is characterized by significant challenges in social interaction and comprehending communication signals. Recently, therapeutic interventions for ASD have increasingly utilized Deep learning powered-computer vision techniques to monitor individual progress over time. These models are trained on private, non-public datasets from the autism community, creating challenges in comparing results across different models due to privacy-preserving data-sharing issues. This work introduces MMASD+. MMASD+ consists of diverse data modalities, including 3D-Skeleton, 3D Body Mesh, and Optical Flow data. It integrates the capabilities of Yolov8 and Deep SORT algorithms to distinguish between the therapist and children, addressing a significant barrier in the original dataset. Additionally, a Multimodal Transformer framework is proposed to predict 11 action types and the presence of ASD. This framework achieves an accuracy of 95.03% for predicting action types and 96.42% for predicting ASD presence, demonstrating over a 10% improvement compared to models trained on single data modalities. These findings highlight the advantages of integrating multiple data modalities within the Multimodal Transformer framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google