要約
この研究では、新型コロナウイルス感染症ワクチン、デジタルトランスフォーメーション、女性のエンパワーメントという 3 つの重要なトピックに対する作家のスタンス (好意的、反対、または中立) を検出するために、用語頻度 – 逆文書頻度 (TF-IDF) 機能と文章トランスフォーマーを比較しています。
実験的評価を通じて、Sentence Transformers がさまざまな実験設定にわたって TF-IDF 機能よりも優れていることを実証します。
私たちのチーム dzStance はスタンス検出コンテストに参加し、女性のエンパワーメントで 15 チーム中 13 位 (74.91%)、COVID ワクチンで 10 位 (73.43%)、デジタル トランスフォーメーションで 12 位 (66.97%) を獲得しました。
全体として、私たちのチームのパフォーマンスは、全参加者中 13 位 (71.77%) にランクされました。
特に、私たちのアプローチは有望な F1 スコアを達成し、多様なトピックに対する作家のスタンスを特定する際のその有効性を強調しました。
これらの結果は、重大な社会問題に対処するためのスタンス検出モデルを強化する Sentence Transformers の可能性を強調しています。
要約(オリジナル)
This study compares Term Frequency-Inverse Document Frequency (TF-IDF) features with Sentence Transformers for detecting writers’ stances–favorable, opposing, or neutral–towards three significant topics: COVID-19 vaccine, digital transformation, and women empowerment. Through empirical evaluation, we demonstrate that Sentence Transformers outperform TF-IDF features across various experimental setups. Our team, dzStance, participated in a stance detection competition, achieving the 13th position (74.91%) among 15 teams in Women Empowerment, 10th (73.43%) in COVID Vaccine, and 12th (66.97%) in Digital Transformation. Overall, our team’s performance ranked 13th (71.77%) among all participants. Notably, our approach achieved promising F1-scores, highlighting its effectiveness in identifying writers’ stances on diverse topics. These results underscore the potential of Sentence Transformers to enhance stance detection models for addressing critical societal issues.
arxiv情報
| 著者 | Mohamed Lichouri,Khaled Lounnas,Khelil Rafik Ouaras,Mohamed Abi,Anis Guechtouli |
| 発行日 | 2024-07-18 15:43:27+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google