WildFireCan-MMD: A Multimodal Dataset for Classification of User-Generated Content During Wildfires in Canada

要約

迅速な情報アクセスは山火事では不可欠ですが、従来のデータソースはゆっくりとコストがかかります。
ソーシャルメディアはリアルタイムの更新を提供しますが、関連する洞察を抽出することは依然として課題です。
最近のカナダの山火事からのX投稿の新しいマルチモーダルデータセットであるWildFirecan-MMDを提示し、12の主要なテーマに注釈が付けられています。
ビジョン言語モデルとカスタムトレーニングを受けた分類器の両方を評価すると、ゼロショットプロンプトは迅速な展開を提供する一方で、ラベル付きデータが利用可能になったときに簡単なトレーニングモデルでさえそれらを上回ることを示します。
当社の最高のパフォーマンスの変圧器ベースの微調整モデルは、83％のFスコアに達し、GPT4を23％上回ることができます。
ユースケースとして、このモデルを使用して山火事中の傾向を明らかにする方法を示します。
私たちの調査結果は、カスタマイズされたデータセットとタスク固有のトレーニングの永続的な重要性を強調しています。
重要なのは、災害対応要件が地域やコンテキストによって異なるため、このようなデータセットをローカライズする必要があります。

要約(オリジナル)

Rapid information access is vital during wildfires, yet traditional data sources are slow and costly. Social media offers real-time updates, but extracting relevant insights remains a challenge. We present WildFireCan-MMD, a new multimodal dataset of X posts from recent Canadian wildfires, annotated across twelve key themes. Evaluating both vision-language models and custom-trained classifiers, we show that while zero-shot prompting offers quick deployment, even simple trained models outperform them when labelled data is available. Our best-performing transformer-based fine-tuned model reaches 83% f-score, outperforming gpt4 by 23%. As a use case, we demonstrate how this model can be used to uncover trends during wildfires. Our findings highlight the enduring importance of tailored datasets and task-specific training. Importantly, such datasets should be localized, as disaster response requirements vary across regions and contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google