CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification

要約

思考連鎖 (CoT) プロンプトにより、大規模な言語モデル (LLM) は、最終的な予測の前に説明を生成することにより、複雑な推論タスクを解決できます。
その有望な能力にもかかわらず、CoT プロンプトの重大な欠点は、パフォーマンスが生成された説明の事実性に大きく影響されることです。
説明の正確性を向上させるには、説明データを使用して言語モデルを微調整する必要があります。
ただし、そのようなアプローチに使用できるデータセットはわずかしかなく、それらを構築するためのデータ収集ツールはありません。
このように、生成された説明の事実の正確さに注釈を付け、間違った説明の修正データを収集するためのツールキットである CoTEVer を紹介します。
さらに、CoTEVer で収集されたデータを使用して、説明の忠実度を高めるいくつかのユース ケースを提案します。
ツールキットは、https://github.com/SeungoneKim/CoTEVer で公開されています。

要約(オリジナル)

Chain-of-thought (CoT) prompting enables large language models (LLMs) to solve complex reasoning tasks by generating an explanation before the final prediction. Despite it’s promising ability, a critical downside of CoT prompting is that the performance is greatly affected by the factuality of the generated explanation. To improve the correctness of the explanations, fine-tuning language models with explanation data is needed. However, there exists only a few datasets that can be used for such approaches, and no data collection tool for building them. Thus, we introduce CoTEVer, a tool-kit for annotating the factual correctness of generated explanations and collecting revision data of wrong explanations. Furthermore, we suggest several use cases where the data collected with CoTEVer can be utilized for enhancing the faithfulness of explanations. Our toolkit is publicly available at https://github.com/SeungoneKim/CoTEVer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google