Application and Optimization of Large Models Based on Prompt Tuning for Fact-Check-Worthiness Estimation

要約

グローバリゼーションと情報化の文脈における誤った情報の増大する問題に対応して、このホワイトペーパーでは、迅速な調整に基づいた事実チェック壁の推定の分類方法を提案します。
迅速なチューニングを使用して、方法論レベルで事実チェック能力の推定のモデルを構築します。
設計されたプロンプトテンプレートを大規模な言語モデルに適用することにより、特に限られたデータまたは非標識データを扱う場合、クレームが事実確認能力を持っているかどうかを判断する正確性を改善するために、コンテキスト内学習とレバレッジプロンプトチューニングテクノロジーを確立します。
パブリックデータセットでの広範な実験を通じて、提案された方法が、BERTなどの古典的な事前訓練モデルを含む、事実チェック壁性推定評価の分類タスクで複数のベースラインメソッドを上回ったり、GPT-3.5やGPT-4などの最近の一般的な大型モデルを含むことを実証したりします。
実験は、この研究で提案されている迅速な調整ベースの方法が、F1スコアや精度などの評価メトリックに特定の利点を示し、それにより、事実確認の推定のタスクにおけるその有効性と進歩を効果的に検証することを示しています。

要約(オリジナル)

In response to the growing problem of misinformation in the context of globalization and informatization, this paper proposes a classification method for fact-check-worthiness estimation based on prompt tuning. We construct a model for fact-check-worthiness estimation at the methodological level using prompt tuning. By applying designed prompt templates to large language models, we establish in-context learning and leverage prompt tuning technology to improve the accuracy of determining whether claims have fact-check-worthiness, particularly when dealing with limited or unlabeled data. Through extensive experiments on public datasets, we demonstrate that the proposed method surpasses or matches multiple baseline methods in the classification task of fact-check-worthiness estimation assessment, including classical pre-trained models such as BERT, as well as recent popular large models like GPT-3.5 and GPT-4. Experiments show that the prompt tuning-based method proposed in this study exhibits certain advantages in evaluation metrics such as F1 score and accuracy, thereby effectively validating its effectiveness and advancement in the task of fact-check-worthiness estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google