A Unique Training Strategy to Enhance Language Models Capabilities for Health Mention Detection from Social Media Content

要約

ソーシャル メディア コンテンツの量は増え続けており、有用な情報を抽出できる高度な AI ベースのコンピューター プログラムが必要です。
具体的には、ソーシャルメディアからの健康関連コンテンツの抽出は、病気の蔓延、死亡率の予測、さまざまな種類の病気に対するさまざまな種類の薬剤の影響の発見など、さまざまな種類のアプリケーションの開発に役立ちます。
言語モデルは、テキストの構文と意味を抽出する機能を備えています。
ただし、ソーシャル メディアのテキストから同様のパターンを抽出するのは困難です。
この不足の主な理由は、ソーシャル メディア ユーザーが一般的に採用している非標準的な書き方にあります。
ソーシャル メディア テキストから有用なパターンを抽出できる最適な言語モデルの必要性を受けて、この論文の主な目標は、一般化されたパターンを導き出す方法を学習する方法で言語モデルをトレーニングすることです。
この重要な目標は、ランダムな重み付け摂動と対照的な学習戦略を組み込むことで達成されます。
独自のトレーニング戦略に加えて、ソーシャル メディア テキストの投稿を健康以外のクラスと健康関連のクラスに区別するための 5 つの異なる言語モデルの利点を活用するメタ予測子が提案されています。
3 つの公開ベンチマーク データセットにわたる包括的な実験により、提案されたトレーニング戦略により、従来のトレーニングによるパフォーマンスと比較して、F1 スコアに関して言語モデルのパフォーマンスが最大 3.87% 向上することが明らかになりました。
さらに、提案されたメタ予測子は、3 つのベンチマーク データセットすべてにわたって既存の健康言及分類予測子よりも優れています。

要約(オリジナル)

An ever-increasing amount of social media content requires advanced AI-based computer programs capable of extracting useful information. Specifically, the extraction of health-related content from social media is useful for the development of diverse types of applications including disease spread, mortality rate prediction, and finding the impact of diverse types of drugs on diverse types of diseases. Language models are competent in extracting the syntactic and semantics of text. However, they face a hard time extracting similar patterns from social media texts. The primary reason for this shortfall lies in the non-standardized writing style commonly employed by social media users. Following the need for an optimal language model competent in extracting useful patterns from social media text, the key goal of this paper is to train language models in such a way that they learn to derive generalized patterns. The key goal is achieved through the incorporation of random weighted perturbation and contrastive learning strategies. On top of a unique training strategy, a meta predictor is proposed that reaps the benefits of 5 different language models for discriminating posts of social media text into non-health and health-related classes. Comprehensive experimentation across 3 public benchmark datasets reveals that the proposed training strategy improves the performance of the language models up to 3.87%, in terms of F1-score, as compared to their performance with traditional training. Furthermore, the proposed meta predictor outperforms existing health mention classification predictors across all 3 benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google