要約
本稿では、IAIグループが2024年CheckThat.Labの枠組みの中で、クレームに対する自動チェック値推定に参加したことについて述べる！ラボ「タスク1：タスク1：検査適格性の推定」である。このタスクでは、英語、オランダ語、アラビア語の政治討論とTwitterデータから、チェックに値する主張を自動検出する。私たちは、事前に訓練された様々な生成デコーダーとエンコーダー変換モデルを利用し、少数ショット思考連鎖推論、微調整、データ増強、ある言語から別の言語への転移学習などの手法を採用した。性能面での成功は様々であったが、我々のモデルは主催者のリーダーボードにおいて、英語では9位、オランダ語では3位、アラビア語では首位という注目すべき成績を収めた。ラベルのないテストデータセットの性能は開発テストデータセットと比較して大幅に低下したが、我々の研究成果は、クレーム検証システムにおける言語固有の適応の課題と可能性を浮き彫りにし、クレーム検出研究における継続的な取り組みに貢献するものである。
要約(オリジナル)
This paper describes IAI group’s participation for automated check-worthiness estimation for claims, within the framework of the 2024 CheckThat! Lab ‘Task 1: Check-Worthiness Estimation’. The task involves the automated detection of check-worthy claims in English, Dutch, and Arabic political debates and Twitter data. We utilized various pre-trained generative decoder and encoder transformer models, employing methods such as few-shot chain-of-thought reasoning, fine-tuning, data augmentation, and transfer learning from one language to another. Despite variable success in terms of performance, our models achieved notable placements on the organizer’s leaderboard: ninth-best in English, third-best in Dutch, and the top placement in Arabic, utilizing multilingual datasets for enhancing the generalizability of check-worthiness detection. Despite a significant drop in performance on the unlabeled test dataset compared to the development test dataset, our findings contribute to the ongoing efforts in claim detection research, highlighting the challenges and potential of language-specific adaptations in claim verification systems.
arxiv情報
| 著者 | Peter Røysland Aarnes,Vinay Setty,Petra Galuščáková |
| 発行日 | 2024-08-02 08:59:09+00:00 |
| arxivサイト | arxiv_id(pdf) |