DFKI-NLP at SemEval-2024 Task 2: Towards Robust LLMs Using Data Perturbations and MinMax Training

要約

SemEval-2024 の NLI4CT タスクでは、大規模言語モデル (LLM) を使用した臨床試験レポート (CTR) の自然言語推論のための堅牢なモデルの開発に重点が置かれています。
この版では、CTR の数値、語彙、意味論的な側面を特にターゲットにした介入を紹介します。
私たちが提案するシステムは、最先端の Mistral モデルの機能を補助モデルで補完して、NLI4CT データセットの複雑な入力空間に焦点を当てています。
数値および頭字語ベースの摂動をデータに組み込むことで、意味変更と数値矛盾の介入の両方を処理できる堅牢なシステムをトレーニングします。
データセットの分析により、CTR の推論が困難なセクションが明らかになりました。

要約(オリジナル)

The NLI4CT task at SemEval-2024 emphasizes the development of robust models for Natural Language Inference on Clinical Trial Reports (CTRs) using large language models (LLMs). This edition introduces interventions specifically targeting the numerical, vocabulary, and semantic aspects of CTRs. Our proposed system harnesses the capabilities of the state-of-the-art Mistral model, complemented by an auxiliary model, to focus on the intricate input space of the NLI4CT dataset. Through the incorporation of numerical and acronym-based perturbations to the data, we train a robust system capable of handling both semantic-altering and numerical contradiction interventions. Our analysis on the dataset sheds light on the challenging sections of the CTRs for reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google