A Social Context-aware Graph-based Multimodal Attentive Learning Framework for Disaster Content Classification during Emergencies

要約

危機の際には、効果的な災害対応と公共の安全のために、ソーシャルメディアプラットフォームで共有される災害関連情報を迅速かつ正確に分類することが重要です。
このような重要なイベントの間、個人はソーシャル メディアを使用してコミュニケーションを取り、マルチモーダルなテキストおよびビジュアル コンテンツを共有します。
しかし、フィルタリングされていない多様なデータが大量に流入しているため、人道支援団体はこの情報を効率的に活用するという課題に直面しています。
災害関連コンテンツを分類するための既存の方法では、正確な分類に不可欠なユーザーの信頼性、感情的背景、社会的交流情報をモデル化できないことがよくあります。
このギャップに対処するために、CrisisSpot を提案します。これは、グラフベースのニューラル ネットワークを利用してテキストとビジュアルのモダリティ間の複雑な関係をキャプチャする方法と、ユーザー中心およびコンテンツ中心の情報を組み込むソーシャル コンテキスト機能を利用する方法です。
また、データ内の調和のとれたパターンと対照的なパターンの両方を捕捉してマルチモーダルなインタラクションを強化し、より豊富な洞察を提供する Inverted Dual Embedded Attendee (IDEA) も紹介します。
さらに、10,352 個のサンプルを含む、単一の災害イベントに関する注釈付きの大規模なデータセットである TSEqD (トルコ-シリア地震データセット) を紹介します。
広範な実験を通じて、CrisisSpot は大幅な改善を実証し、公開されている CrisisMMD データセットと TSEqD データセットでの最先端の方法と比較して、それぞれ平均 9.45% と 5.01% の F1 スコアの向上を達成しました。

要約(オリジナル)

In times of crisis, the prompt and precise classification of disaster-related information shared on social media platforms is crucial for effective disaster response and public safety. During such critical events, individuals use social media to communicate, sharing multimodal textual and visual content. However, due to the significant influx of unfiltered and diverse data, humanitarian organizations face challenges in leveraging this information efficiently. Existing methods for classifying disaster-related content often fail to model users’ credibility, emotional context, and social interaction information, which are essential for accurate classification. To address this gap, we propose CrisisSpot, a method that utilizes a Graph-based Neural Network to capture complex relationships between textual and visual modalities, as well as Social Context Features to incorporate user-centric and content-centric information. We also introduce Inverted Dual Embedded Attention (IDEA), which captures both harmonious and contrasting patterns within the data to enhance multimodal interactions and provide richer insights. Additionally, we present TSEqD (Turkey-Syria Earthquake Dataset), a large annotated dataset for a single disaster event, containing 10,352 samples. Through extensive experiments, CrisisSpot demonstrated significant improvements, achieving an average F1-score gain of 9.45% and 5.01% compared to state-of-the-art methods on the publicly available CrisisMMD dataset and the TSEqD dataset, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google