Bryndza at ClimateActivism 2024: Stance, Target and Hate Event Detection via Retrieval-Augmented GPT-4 and LLaMA

要約

この研究では、分類課題としてのヘイトスピーチ検出、ヘイトスピーチ対象の特定、スタンス検出に焦点を当て、気候変動活動のスタンスとヘイトイベントの検出に関する CASE 2024 共有タスクのアプローチを詳しく説明します。
私たちは、ツイート分類のための検索拡張と再ランキングによって強化されたゼロまたは少数ショット設定における大規模言語モデル (LLM)、特に GPT-4 の機能を調査しました。
私たちの目標は、この文脈において LLM が従来の手法と同等かそれを上回ることができるかどうかを判断することでした。
比較のために LLaMA を使用したアブレーション研究を実施しました。その結果、モデルがベースラインを大幅に上回り、ターゲット検出タスクで 2 位を確保したことが示されました。
私たちの提出コードは https://github.com/NaiveNeuron/bryndza-case-2024 で入手できます。

要約(オリジナル)

This study details our approach for the CASE 2024 Shared Task on Climate Activism Stance and Hate Event Detection, focusing on Hate Speech Detection, Hate Speech Target Identification, and Stance Detection as classification challenges. We explored the capability of Large Language Models (LLMs), particularly GPT-4, in zero- or few-shot settings enhanced by retrieval augmentation and re-ranking for Tweet classification. Our goal was to determine if LLMs could match or surpass traditional methods in this context. We conducted an ablation study with LLaMA for comparison, and our results indicate that our models significantly outperformed the baselines, securing second place in the Target Detection task. The code for our submission is available at https://github.com/NaiveNeuron/bryndza-case-2024

arxiv情報

提供元, 利用サービス

arxiv.jp, Google