A Novel Site-Agnostic Multimodal Deep Learning Model to Identify Pro-Eating Disorder Content on Social Media

要約

過去10年間で摂食障害の診断と摂食障害による死亡は大幅に増加し、新型コロナウイルス感染症のパンデミック中にその頂点に達した。
この大幅な増加は、パンデミックのストレス要因もありましたが、摂食障害を助長するコンテンツが溢れているソーシャルメディアへの接触の増加にも由来しています。
この研究は、視覚データとテキストデータの組み合わせに基づいて、特定のソーシャルメディア投稿が摂食障害を促進するかどうかを判断できるマルチモーダルディープラーニングモデルを作成することを目的としていました。
ツイートのラベル付きデータセットが Twitter から収集され、それに基づいて 12 の深層学習モデルがトレーニングおよびテストされました。
モデルのパフォーマンスに基づくと、最も効果的な深層学習モデルは RoBERTa 自然言語処理モデルと MaxViT 画像分類モデルのマルチモーダル融合であり、それぞれ 95.9% と 0.959 の精度と F1 スコアを達成しました。
ソーシャル メディア サイト Tumblr と Reddit からのラベルのない投稿データセットを分類するために導入された RoBERTa と MaxViT の融合モデルは、人工知能ベースの技術を使用していない以前の研究結果と同様の結果を生成し、深層学習モデルが開発できることを示しました。
研究者の洞察と一致します。
さらに、このモデルを使用して、8 つの Twitter ハッシュタグからのまだ見られていないツイートの時系列分析を実施したところ、2014 年以降、これらのコミュニティ内で摂食障害を助長するコンテンツが相対的に大幅に減少していることが明らかになりました。
この減少にもかかわらず、2018年までに、摂食障害を助長するコンテンツは、これらのハッシュタグ上で減少に歯止めがかかるか、再びその量が増加しました。

要約(オリジナル)

Over the last decade, there has been a vast increase in eating disorder diagnoses and eating disorder-attributed deaths, reaching their zenith during the Covid-19 pandemic. This immense growth derived in part from the stressors of the pandemic but also from increased exposure to social media, which is rife with content that promotes eating disorders. This study aimed to create a multimodal deep learning model that can determine if a given social media post promotes eating disorders based on a combination of visual and textual data. A labeled dataset of Tweets was collected from Twitter, upon which twelve deep learning models were trained and tested. Based on model performance, the most effective deep learning model was the multimodal fusion of the RoBERTa natural language processing model and the MaxViT image classification model, attaining accuracy and F1 scores of 95.9% and 0.959, respectively. The RoBERTa and MaxViT fusion model, deployed to classify an unlabeled dataset of posts from the social media sites Tumblr and Reddit, generated results akin to those of previous research studies that did not employ artificial intelligence-based techniques, indicating that deep learning models can develop insights congruent to those of researchers. Additionally, the model was used to conduct a timeseries analysis of yet unseen Tweets from eight Twitter hashtags, uncovering that, since 2014, the relative abundance of content that promotes eating disorders has decreased drastically within those communities. Despite this reduction, by 2018, content that promotes eating disorders had either stopped declining or increased in ampleness anew on these hashtags.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google