CRCL at SemEval-2024 Task 2: Simple prompt optimizations

要約

SemEval 2024タスク2のベースラインを提示する。タスク2の目的は、臨床試験報告書のセクションとステートメントのペア間の推論関係を確認することである。言語モデル・アズ・ア・サービス（LMaaS）として提供されるLLMインストラクタモデルを用いて、プロンプト最適化技術を適用した。最近の知見と同様に、合成CoTプロンプトは手作業で作成したプロンプトを大幅に向上させることが確認された。

要約(オリジナル)

We present a baseline for the SemEval 2024 task 2 challenge, whose objective is to ascertain the inference relationship between pairs of clinical trial report sections and statements. We apply prompt optimization techniques with LLM Instruct models provided as a Language Model-as-a-Service (LMaaS). We observed, in line with recent findings, that synthetic CoT prompts significantly enhance manually crafted ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL