Diagnostic Reasoning in Natural Language: Computational Model and Application

要約

診断推論は、多くの分野における専門家の仕事の重要な要素です。
これは専門知識を必要とする困難で時間のかかる作業であり、AI 研究では自動システムがこのプロセスをサポートする方法を調査しました。
しかし、自然言語の複雑さのため、言語関連タスクへの診断推論のための AI の応用は不足しています。
このギャップを埋めるために、言語に基づいたタスク (NL-DAR) のコンテキストで診断的外転的推論 (DAR) を調査します。
私たちは、Pearl の構造的因果モデルに基づいた NL-DAR の新しいモデリング フレームワークを提案し、生物医学分野における科学論文評価の包括的な研究でそれを具体化します。
結果として得られたデータセットを使用して、NL-DAR における人間の意思決定プロセスを調査し、テキストを介した構造化された意思決定をサポートする LLM の可能性を判断します。
私たちのフレームワーク、オープンリソース、ツールは、LLM の時代における協調的な診断推論の実証的研究の基礎を、学術領域およびそれを超えた領域で築きます。

要約(オリジナル)

Diagnostic reasoning is a key component of expert work in many domains. It is a hard, time-consuming activity that requires expertise, and AI research has investigated the ways automated systems can support this process. Yet, due to the complexity of natural language, the applications of AI for diagnostic reasoning to language-related tasks are lacking. To close this gap, we investigate diagnostic abductive reasoning (DAR) in the context of language-grounded tasks (NL-DAR). We propose a novel modeling framework for NL-DAR based on Pearl’s structural causal models and instantiate it in a comprehensive study of scientific paper assessment in the biomedical domain. We use the resulting dataset to investigate the human decision-making process in NL-DAR and determine the potential of LLMs to support structured decision-making over text. Our framework, open resources and tools lay the groundwork for the empirical study of collaborative diagnostic reasoning in the age of LLMs, in the scholarly domain and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google