FZI-WIM at SemEval-2024 Task 2: Self-Consistent CoT for Complex NLI in Biomedical Domain

要約

この論文は、SemEval-2024 タスク 2: 臨床試験のための安全な生物医学自然言語推論における FZI-WIM の推論システムについて説明します。
私たちのシステムは、思考連鎖 (CoT) パラダイムを利用して、この複雑な推論問題に取り組み、自己矛盾なく CoT パフォーマンスをさらに向上させます。
貪欲なデコードの代わりに、同じプロンプトで複数の推論チェーンをサンプリングし、多数決で最終検証を行います。
自己一貫性のある CoT システムは、ベースライン F1 スコア 0.80 (1 位)、忠実度スコア 0.90 (3 位)、一貫性スコア 0.73 (12 位) を達成しました。
コードとデータは https://github.com/jens5588/FZI-WIM-NLI4CT で公開されます。

要約(オリジナル)

This paper describes the inference system of FZI-WIM at the SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials. Our system utilizes the chain of thought (CoT) paradigm to tackle this complex reasoning problem and further improves the CoT performance with self-consistency. Instead of greedy decoding, we sample multiple reasoning chains with the same prompt and make the final verification with majority voting. The self-consistent CoT system achieves a baseline F1 score of 0.80 (1st), faithfulness score of 0.90 (3rd), and consistency score of 0.73 (12th). We release the code and data publicly https://github.com/jens5588/FZI-WIM-NLI4CT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google