SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection

要約

この論文では、SemEval-2024幻覚検出タスク用に開発された新しいシステムを紹介します。
私たちの調査は、モデル予測を参照標準と比較するためのさまざまな戦略に及び、多様なベースライン、教師あり学習による事前トレーニングされたエンコーダーの改良、およびいくつかの高性能モデルを利用したアンサンブル アプローチを網羅しています。
これらの調査を通じて、強力なパフォーマンス指標を示す 3 つの異なる方法を紹介します。
トレーニング データを増幅するために、ラベルのないトレーニング サブセットから追加のトレーニング サンプルを生成します。
さらに、私たちのアプローチの詳細な比較分析を提供します。
特に、私たちの最高の手法は、競合他社のモデルに依存しないトラックで賞賛に値する 9 位、モデル認識トラックで 17 位を達成し、その有効性と可能性を強調しました。

要約(オリジナル)

In this paper, we present our novel systems developed for the SemEval-2024 hallucination detection task. Our investigation spans a range of strategies to compare model predictions with reference standards, encompassing diverse baselines, the refinement of pre-trained encoders through supervised learning, and an ensemble approaches utilizing several high-performing models. Through these explorations, we introduce three distinct methods that exhibit strong performance metrics. To amplify our training data, we generate additional training samples from unlabelled training subset. Furthermore, we provide a detailed comparative analysis of our approaches. Notably, our premier method achieved a commendable 9th place in the competition’s model-agnostic track and 17th place in model-aware track, highlighting its effectiveness and potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google