A LLM-Based Ranking Method for the Evaluation of Automatic Counter-Narrative Generation

要約

オンライン言説における誤った情報や有害なナラティブの蔓延は、効果的なカウンター ナラティブ (CN) 生成技術の重要な必要性を浮き彫りにしています。
しかし、既存の自動評価方法は解釈可能性に欠けていることが多く、生成された CN と人間の知覚との間の微妙な関係を捉えることができません。
人間の判断とのより高い相関関係を達成することを目的として、この論文では、評価者として大規模言語モデル (LLM) を使用することで構成される、生成された CN を評価するための新しいアプローチを提案します。
生成された CN をトーナメント形式でペアごとに比較することで、人間の好みと 0.88 ドルの相関関係を達成するモデル ランキング パイプラインを確立します。
追加の貢献として、LLM をゼロショット (ZS) CN ジェネレーターとして活用し、チャット、指示、ベース モデルの比較分析を実施して、それぞれの強みと限界を調査しました。
微調整実験を含む綿密な評価を通じて、ドメイン固有のデータに対するパフォーマンスと応答性の違いを解明します。
セキュリティ上の懸念により回答の生成を拒否しない限り、ZS のチャット調整モデルがタスクを実行するための最良の選択肢であると結論付けています。

要約(オリジナル)

The proliferation of misinformation and harmful narratives in online discourse has underscored the critical need for effective Counter Narrative (CN) generation techniques. However, existing automatic evaluation methods often lack interpretability and fail to capture the nuanced relationship between generated CNs and human perception. Aiming to achieve a higher correlation with human judgments, this paper proposes a novel approach to asses generated CNs that consists on the use of a Large Language Model (LLM) as a evaluator. By comparing generated CNs pairwise in a tournament-style format, we establish a model ranking pipeline that achieves a correlation of $0.88$ with human preference. As an additional contribution, we leverage LLMs as zero-shot (ZS) CN generators and conduct a comparative analysis of chat, instruct, and base models, exploring their respective strengths and limitations. Through meticulous evaluation, including fine-tuning experiments, we elucidate the differences in performance and responsiveness to domain-specific data. We conclude that chat-aligned models in ZS are the best option for carrying out the task, provided they do not refuse to generate an answer due to security concerns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google