Oracle-Checker Scheme for Evaluating a Generative Large Language Model

要約

本研究では、生成的大規模言語モデル（LLM）が与える答えを評価するための、オラクルチェッカー方式と呼ばれる新しいアプローチを提案する。二つのタイプのチェッカーが提示される。第1のタイプのチェッカーは、特性検査の考え方に従う。第二のタイプのチェッカーは、プログラムチェックの考え方に従う。その応用例として、実体抽出と言い換え判断の2つのコンテクストを示す。

要約(オリジナル)

This work presents a novel approach called oracle-checker scheme for evaluating the answer given by a generative large language model (LLM). Two types of checkers are presented. The first type of checker follows the idea of property testing. The second type of checker follows the idea of program checking. Their applications are demonstrated in two separate contexts, entity extraction and paraphrase decision, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL