Multi-Stakeholder Disaster Insights from Social Media Using Large Language Models

要約

近年、ソーシャルメディアは、災害や緊急事態の間にユーザーがフィードバックと問題を迅速に共有するための主要なチャネルとして浮上し、危機管理において重要な役割を果たしています。
ソーシャルメディアコンテンツの収集と分析において大きな進歩がありましたが、このデータの自動化、集約、カスタマイズを強化して、マスコミ、警察、EMS、消防士などの多様な利害関係者に合わせた実用的な洞察を提供する必要があります。
この取り組みは、救援活動、リソース分布、メディアコミュニケーションなどの活動の調整を改善するために不可欠です。
このペーパーでは、LLMSの機能を活用して災害対応と管理を強化する方法を提示します。
私たちのアプローチでは、分類手法と生成的AIを組み合わせて、生のユーザーフィードバックと利害関係者固有のレポートとのギャップを埋めます。
壊滅的なイベント中に共有されるソーシャルメディアの投稿は、ユーザーが報告した問題、サービスの中断、および遭遇した課題に焦点を当てて分析されます。
BERTなどの分析モデルを使用して、コンテンツタイプ、感情、感情、地理的、ジオロケーション、トピックの正確な多次元分類を使用して、フルスペクトルLLMを採用しています。
その後、ChatGPTなどの生成モデルを使用して、詳細な分類から派生した洞察を統合する明確な視聴者に合わせた人間が読みやすく有益なレポートを作成します。
ChatGPTのプロンプトを使用して投稿を直接分析する標準的なアプローチを比較します。これは、多次元分類、サブイベント選択、およびテーラードレポート生成を組み込んだ高度な方法と比較します。
私たちの方法論は、テキストコヒーレンススコアや潜在的な表現などの定量的指標の両方で優れたパフォーマンスを示し、自動化されたツールとフィールドの専門家による定性的評価を実証し、多様な災害対応の利害関係者に正確な洞察を提供します。

要約(オリジナル)

In recent years, social media has emerged as a primary channel for users to promptly share feedback and issues during disasters and emergencies, playing a key role in crisis management. While significant progress has been made in collecting and analyzing social media content, there remains a pressing need to enhance the automation, aggregation, and customization of this data to deliver actionable insights tailored to diverse stakeholders, including the press, police, EMS, and firefighters. This effort is essential for improving the coordination of activities such as relief efforts, resource distribution, and media communication. This paper presents a methodology that leverages the capabilities of LLMs to enhance disaster response and management. Our approach combines classification techniques with generative AI to bridge the gap between raw user feedback and stakeholder-specific reports. Social media posts shared during catastrophic events are analyzed with a focus on user-reported issues, service interruptions, and encountered challenges. We employ full-spectrum LLMs, using analytical models like BERT for precise, multi-dimensional classification of content type, sentiment, emotion, geolocation, and topic. Generative models such as ChatGPT are then used to produce human-readable, informative reports tailored to distinct audiences, synthesizing insights derived from detailed classifications. We compare standard approaches, which analyze posts directly using prompts in ChatGPT, to our advanced method, which incorporates multi-dimensional classification, sub-event selection, and tailored report generation. Our methodology demonstrates superior performance in both quantitative metrics, such as text coherence scores and latent representations, and qualitative assessments by automated tools and field experts, delivering precise insights for diverse disaster response stakeholders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google