AudioInsight: Detecting Social Contexts Relevant to Social Anxiety from Speech

要約

社交的な交流の際、特に社交不安のある人にとっては、状況の複雑さを理解することが極めて重要です。
これまでの研究では、社会的相互作用の存在は周囲の音声から検出できることがわかっていますが、不安を引き起こす相互作用がどのように影響するかという社会的文脈内の微妙な違いは、ほとんど解明されていないままです。
この研究では、自己申告のような従来の面倒な方法に代わるものとして、周囲の音声セグメントを利用して社会的脅威のコンテキストを検出する新しいアプローチを紹介します。
私たちは、相互作用パートナーの数 (二者対グループ) と評価的脅威の程度 (明示的に評価できるか、明示的に評価できない) という 2 つの重要な側面に焦点を当てます。
Zoom ベースの社会的相互作用に関する研究 (N=52 人の大学生、そのうち大多数の N=45 人が社会的に不安を抱えている) からのデータに基づいて、ディープラーニング手法を採用して強力な検出パフォーマンスを実現します。
サンプル全体の 5 分割相互検証 (CV) の下で、私たちのモデルは 90% の精度で二者間の相互作用とグループの相互作用を区別し、83% の精度で評価上の脅威を検出しました。
1 つのグループを除外した CV を使用した場合、精度はそれぞれ 82\% と 77\% でした。
私たちのデータはパンデミックの制約による仮想インタラクションに基づいていますが、私たちの手法は現実世界の多様な設定に拡張できる可能性があります。
この研究は、複雑な社会的状況を区別するためのパッシブセンシングと AI の可能性を強調しており、最終的には、パーソナライズされたメンタルヘルスサポートを提供するための状況認識型デジタル介入の能力を進歩させる可能性があります。

要約(オリジナル)

During social interactions, understanding the intricacies of the context can be vital, particularly for socially anxious individuals. While previous research has found that the presence of a social interaction can be detected from ambient audio, the nuances within social contexts, which influence how anxiety provoking interactions are, remain largely unexplored. As an alternative to traditional, burdensome methods like self-report, this study presents a novel approach that harnesses ambient audio segments to detect social threat contexts. We focus on two key dimensions: number of interaction partners (dyadic vs. group) and degree of evaluative threat (explicitly evaluative vs. not explicitly evaluative). Building on data from a Zoom-based social interaction study (N=52 college students, of whom the majority N=45 are socially anxious), we employ deep learning methods to achieve strong detection performance. Under sample-wide 5-fold Cross Validation (CV), our model distinguished dyadic from group interactions with 90\% accuracy and detected evaluative threat at 83\%. Using a leave-one-group-out CV, accuracies were 82\% and 77\%, respectively. While our data are based on virtual interactions due to pandemic constraints, our method has the potential to extend to diverse real-world settings. This research underscores the potential of passive sensing and AI to differentiate intricate social contexts, and may ultimately advance the ability of context-aware digital interventions to offer personalized mental health support.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google