Question Rephrasing for Quantifying Uncertainty in Large Language Models: Applications in Molecular Chemistry Tasks

要約

不確実性の定量化により、ユーザーは大規模言語モデル (LLM) によって生成された応答の信頼性を評価できます。
我々は、LLM の入力不確実性を評価するための新しい質問言い換え手法を提案します。これは、LLM に提供される入力の等価変動から生じる不確実性を指します。
この手法は、LLM の出力の不確実性を測定するサンプリング方法と統合されており、それにより、より包括的な不確実性評価が提供されます。
分子化学タスクの特性予測と反応予測に関するアプローチを検証しました。

要約(オリジナル)

Uncertainty quantification enables users to assess the reliability of responses generated by large language models (LLMs). We present a novel Question Rephrasing technique to evaluate the input uncertainty of LLMs, which refers to the uncertainty arising from equivalent variations of the inputs provided to LLMs. This technique is integrated with sampling methods that measure the output uncertainty of LLMs, thereby offering a more comprehensive uncertainty assessment. We validated our approach on property prediction and reaction prediction for molecular chemistry tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google