SymbolicAI: A framework for logic-based approaches combining generative models and solvers

要約

生成プロセスにおける概念学習とフロー管理にロジックベースのアプローチを採用した、汎用性の高いモジュール式フレームワークである SymbolicAI を紹介します。
SymbolicAI は、大規模言語モデル (LLM) を自然言語命令と形式言語命令の両方に基づいてタスクを実行するセマンティック パーサーとして扱うことで、生成モデルと多様なソルバーのシームレスな統合を可能にし、記号推論と生成 AI の間のギャップを橋渡しします。
私たちは確率的プログラミング原理を活用して複雑なタスクに取り組み、微分可能プログラミング パラダイムと古典的プログラミング パラダイムをそれぞれの強みで活用します。
このフレームワークは、データ ストリーム操作のための多態性、構成的、自己参照の一連の操作を導入し、LLM 出力をユーザーの目的に合わせます。
その結果、ゼロショットおよび数ショット学習機能を備えたさまざまな基礎モデルの機能と、特定の問題に対処するのに熟練した特殊で微調整されたモデルまたはソルバーの間で移行できるようになります。
さらに、このフレームワークにより、説明可能な計算グラフの作成と評価が容易になります。
最後に、これらの計算グラフを評価するための品質基準とその経験的スコアを導入し、一連の複雑なワークフロー全体でさまざまな最先端の LLM を比較するベンチマークを提案します。
この経験的スコアを「相互類似性による関係軌跡評価のためのベクトル埋め込み」、または略して VERTEX スコアと呼びます。
フレームワークのコードベースとベンチマークは以下にリンクされています。

要約(オリジナル)

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the ‘Vector Embedding for Relational Trajectory Evaluation through Cross-similarity’, or VERTEX score for short. The framework codebase and benchmark are linked below.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google