Fraunhofer SIT at CheckThat! 2023: Tackling Classification Uncertainty Using Model Souping on the Example of Check-Worthiness Classification

要約

この文書では、フラウンホーファー SIT チームが CLEF-2023 CheckThat! で開発した 2 位のアプローチについて説明します。
ラボのタスク 1B (英語)。
政治的議論からのテキストの断片が与えられた場合、このタスクの目的は、それがチェックに値するかどうかを評価する必要があるかどうかを判断することです。
チェックに値する記述の検出は、ファクトチェッカーが最初に検討すべき主張に優先順位を付けることで、手動によるファクトチェック作業を容易にすることを目的としています。
これは事実確認システムの主要なステップと考えることもできます。
私たちの最もパフォーマンスの高い方法では、モデル スープイングを中心としたアンサンブル分類スキームを利用しました。
英語のデータセットに適用した場合、私たちが提出したモデルは全体的な F1 スコア 0.878 を達成し、コンテストで 2 番目に優れたモデルとしてランク付けされました。

要約(オリジナル)

This paper describes the second-placed approach developed by the Fraunhofer SIT team in the CLEF-2023 CheckThat! lab Task 1B for English. Given a text snippet from a political debate, the aim of this task is to determine whether it should be assessed for check-worthiness. Detecting check-worthy statements aims to facilitate manual fact-checking efforts by prioritizing the claims that fact-checkers should consider first. It can also be considered as primary step of a fact-checking system. Our best-performing method took advantage of an ensemble classification scheme centered on Model Souping. When applied to the English data set, our submitted model achieved an overall F1 score of 0.878 and was ranked as the second-best model in the competition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google