Multi-step Inference over Unstructured Data

要約

大規模言語モデル (LLM) と生成 AI の出現により、さまざまなドメインにわたる自然言語アプリケーションに革命が起こりました。
ただし、医療、法律、金融などの分野における一か八かの意思決定タスクでは、純粋な LLM または検索拡張生成 (RAG) アプローチでは実現できないレベルの精度、包括性、論理的一貫性が必要です。
Elemental Cognition (EC) では、これらの問題に取り組むために神経記号 AI プラットフォームを開発しました。
このプラットフォームは、知識の抽出と調整を行うための微調整された LLM を、論理推論、計画、および対話型の制約解決のための堅牢な記号推論エンジンと統合します。
このプラットフォーム上に構築された共同研究アシスタントである Cora について説明します。これは、一か八かの分野で複雑な調査および発見タスクを実行するように設計されています。
この論文では、このようなドメインに固有の多段階推論の課題について説明し、既存の LLM ベースの手法の限界を批判し、Cora の神経記号的アプローチがこれらの問題にどのように効果的に対処するかを示します。
システム アーキテクチャの概要、知識抽出と形式的推論のための主要なアルゴリズムを提供し、よく知られている LLM および RAG ベースラインと比較した Cora の優れたパフォーマンスを強調する予備評価結果を示します。

要約(オリジナル)

The advent of Large Language Models (LLMs) and Generative AI has revolutionized natural language applications across various domains. However, high-stakes decision-making tasks in fields such as medical, legal and finance require a level of precision, comprehensiveness, and logical consistency that pure LLM or Retrieval-Augmented-Generation (RAG) approaches often fail to deliver. At Elemental Cognition (EC), we have developed a neuro-symbolic AI platform to tackle these problems. The platform integrates fine-tuned LLMs for knowledge extraction and alignment with a robust symbolic reasoning engine for logical inference, planning and interactive constraint solving. We describe Cora, a Collaborative Research Assistant built on this platform, that is designed to perform complex research and discovery tasks in high-stakes domains. This paper discusses the multi-step inference challenges inherent in such domains, critiques the limitations of existing LLM-based methods, and demonstrates how Cora’s neuro-symbolic approach effectively addresses these issues. We provide an overview of the system architecture, key algorithms for knowledge extraction and formal reasoning, and present preliminary evaluation results that highlight Cora’s superior performance compared to well-known LLM and RAG baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google