CrisisSense-LLM: Instruction Fine-Tuned Large Language Model for Multi-label Social Media Text Classification in Disaster Informatics

要約

危機/災害情報学の分野では、状況認識を向上させ、対応や救援活動を知らせるためにソーシャルメディアがますます使用されています。
効率的かつ正確なテキスト分類ツールは、危機情報学における研究の焦点となっています。
しかし、現在の手法は主に単一ラベルのテキスト分類モデルに依存しており、動的で多面的な災害関連のソーシャル メディア データに埋め込まれたさまざまな洞察を取得できません。
この研究では、災害関連ツイートのマルチラベル分類を対象とした命令の微調整を通じて、事前トレーニングされた大規模言語モデル (LLM) を強化することにより、災害テキスト分類への新しいアプローチを導入します。
私たちの方法論では、災害関連のツイートから包括的な指示データセットを作成し、それを使用してオープンソース LLM を微調整し、災害特有の知識を埋め込みます。
この微調整されたモデルは、イベントの種類、情報の提供度、人的支援の関与など、災害関連情報の複数の側面を同時に分類できるため、災害時の状況認識におけるソーシャル メディア データの有用性が大幅に向上します。
結果は、このアプローチがソーシャルメディア投稿からの重要な情報の分類を強化し、それによって緊急時の状況認識のためのより効果的な展開を促進することを示しています。
この研究は、LLM の機能を活用して、災害シナリオにおけるリアルタイムの状況認識と対応戦略を改善する、より高度で適応性のある堅牢な災害管理ツールへの道を開きます。

要約(オリジナル)

In the field of crisis/disaster informatics, social media is increasingly being used for improving situational awareness to inform response and relief efforts. Efficient and accurate text classification tools have been a focal area of investigation in crisis informatics. However, current methods mostly rely on single-label text classification models, which fails to capture different insights embedded in dynamic and multifaceted disaster-related social media data. This study introduces a novel approach to disaster text classification by enhancing a pre-trained Large Language Model (LLM) through instruction fine-tuning targeted for multi-label classification of disaster-related tweets. Our methodology involves creating a comprehensive instruction dataset from disaster-related tweets, which is then used to fine-tune an open-source LLM, thereby embedding it with disaster-specific knowledge. This fine-tuned model can classify multiple aspects of disaster-related information simultaneously, such as the type of event, informativeness, and involvement of human aid, significantly improving the utility of social media data for situational awareness in disasters. The results demonstrate that this approach enhances the categorization of critical information from social media posts, thereby facilitating a more effective deployment for situational awareness during emergencies. This research paves the way for more advanced, adaptable, and robust disaster management tools, leveraging the capabilities of LLMs to improve real-time situational awareness and response strategies in disaster scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google