DeFine: Enhancing LLM Decision-Making with Factor Profiles and Analogical Reasoning

要約

LLM は、長い文脈を推論し、重要な要素を特定する能力があるため、意思決定に最適です。
ただし、複雑なシナリオを説明する音声のトランスクリプトを処理する場合には課題が発生します。
これらのトランスクリプトには、文法的でない、または不完全な文、繰り返し、ヘッジ、曖昧さが含まれることがよくあります。
たとえば、企業の決算会見中に、将来の収益に関する重大な不確実性にもかかわらず、経営幹部は投資家を安心させるために明るい収益見通しを予測するかもしれません。
LLM にとって、意思決定を行う際にこの不確実性を体系的に組み込むことが重要です。
この論文では、複雑なシナリオから確率的因子プロファイルを構築する新しいフレームワークである DeFine を紹介します。
次に、DeFine はこれらのプロファイルを類推推論と統合し、同様の過去の経験から得た洞察を活用して、LLM が新たな状況で重要な意思決定を行えるように導きます。
私たちのフレームワークは、複雑なシナリオにおける不確実性を定量化し、それを LLM の意思決定に組み込むタスクを分離します。
このアプローチは、医療相談、交渉、政治討論など、不確実性の下で意思決定を行うことが重要な分野で特に役立ちます。

要約(オリジナル)

LLMs are ideal for decision-making due to their ability to reason over long contexts and identify critical factors. However, challenges arise when processing transcripts of spoken speech describing complex scenarios. These transcripts often contain ungrammatical or incomplete sentences, repetitions, hedging, and vagueness. For example, during a company’s earnings call, an executive might project a positive revenue outlook to reassure investors, despite significant uncertainty regarding future earnings. It is crucial for LLMs to incorporate this uncertainty systematically when making decisions. In this paper, we introduce DeFine, a new framework that constructs probabilistic factor profiles from complex scenarios. DeFine then integrates these profiles with analogical reasoning, leveraging insights from similar past experiences to guide LLMs in making critical decisions in novel situations. Our framework separates the tasks of quantifying uncertainty in complex scenarios and incorporating it into LLM decision-making. This approach is particularly useful in fields such as medical consultations, negotiations, and political debates, where making decisions under uncertainty is vital.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google