要約
意味的なテキストの関連性は、意味的な類似性のより広い概念です。
これは、テキストの 2 つのチャンクが類似の意味やトピックをどの程度伝えているか、または関連する概念やコンテキストを共有しているかを測定します。
この関連性の概念は、ドキュメントのクラスタリングや要約などのさまざまなアプリケーションに適用できます。
SemEval-2024 の共有タスクである SemRel-2024 は、アラビア語を含む 14 の言語および方言のデータセットを提供することで、意味的関連性タスクのギャップを減らすことを目的としています。
この文書では、トラック A (アルジェリアとモロッコの方言) とトラック B (現代標準アラビア語) への参加について報告します。
BERT ベースのモデルは、教師ありトラック (A) での回帰スコアリングのために拡張および微調整され、教師なしトラック (B) では BERT ベースのコサイン類似度が使用されます。
当社のシステムは、MSA の SemRel-2024 で Spearman 相関スコア 0.49 で 1 位にランクされました。
モロッコ人は 5 位、アルジェリア人は 12 位で、それぞれスコア 0.83 と 0.53 でした。
要約(オリジナル)
Semantic textual relatedness is a broader concept of semantic similarity. It measures the extent to which two chunks of text convey similar meaning or topics, or share related concepts or contexts. This notion of relatedness can be applied in various applications, such as document clustering and summarizing. SemRel-2024, a shared task in SemEval-2024, aims at reducing the gap in the semantic relatedness task by providing datasets for fourteen languages and dialects including Arabic. This paper reports on our participation in Track A (Algerian and Moroccan dialects) and Track B (Modern Standard Arabic). A BERT-based model is augmented and fine-tuned for regression scoring in supervised track (A), while BERT-based cosine similarity is employed for unsupervised track (B). Our system ranked 1st in SemRel-2024 for MSA with a Spearman correlation score of 0.49. We ranked 5th for Moroccan and 12th for Algerian with scores of 0.83 and 0.53, respectively.
arxiv情報
| 著者 | Sanad Malaysha,Mustafa Jarrar,Mohammed Khalilia |
| 発行日 | 2024-05-01 17:44:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google