Explorers at #SMM4H 2023: Enhancing BERT for Health Applications through Knowledge and Model Fusion

要約

ソーシャル メディアに状態や意見を投稿する人が増えており、人間の健康を研究するための貴重なデータ リソースとなっています。
さらに、ソーシャルメディアは現在、医療にとって重要な研究ポイントとなっています。
このペーパーでは、データの前処理、継続的な事前トレーニング、微調整された最適化戦略など、#SMM4H 2023 共有タスクへの参加における手法の概要を説明します。
特に固有表現認識 (NER) タスクでは、モデルの汎化能力を効果的に強化する W2NER というモデル アーキテクチャを利用します。
私たちの手法はタスク 3 で 1 位を獲得しました。この論文は査読され、#SMM4H 2023 ワークショップでの発表に受理されました。

要約(オリジナル)

An increasing number of individuals are willing to post states and opinions in social media, which has become a valuable data resource for studying human health. Furthermore, social media has been a crucial research point for healthcare now. This paper outlines the methods in our participation in the #SMM4H 2023 Shared Tasks, including data preprocessing, continual pre-training and fine-tuned optimization strategies. Especially for the Named Entity Recognition (NER) task, we utilize the model architecture named W2NER that effectively enhances the model generalization ability. Our method achieved first place in the Task 3. This paper has been peer-reviewed and accepted for presentation at the #SMM4H 2023 Workshop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google