Eliciting Problem Specifications via Large Language Models

要約

一般に、認知システムでは、人間が問題の定義を、認知システムが問題の解決やタスクの実行に使用できる仕様に変換する必要があります。
この論文では、大規模言語モデル (LLM) を利用して、自然言語で定義された問題クラスを準形式的な仕様にマッピングし、既存の推論および学習システムでインスタンスを解決するために利用できることを説明します。
問題のあるクラス。
LLM 対応の認知タスク分析エージェントの設計を紹介します。
LLM エージェントを使用して実装されたこのシステムは、自然言語で指定されたタスクの問題空間の定義を生成します。
LLM プロンプトは、AI 文献における問題空間の定義と一般的な問題解決戦略 (Polya の How to Solve It) から派生しています。
コグニティブ システムは、問題空間の仕様を使用して、ドメイン一般的な問題解決戦略 (検索などの「弱い方法」) を適用して、問題クラスからの問題の複数のインスタンスを解決できます。
この結果は予備的ではあるが、堅牢な推論やオンライン学習などの認知システムの中核機能を維持しながら、問題定式化の仲介を排除することで認知システムの研究をスピードアップできる可能性を示唆している。

要約(オリジナル)

Cognitive systems generally require a human to translate a problem definition into some specification that the cognitive system can use to attempt to solve the problem or perform the task. In this paper, we illustrate that large language models (LLMs) can be utilized to map a problem class, defined in natural language, into a semi-formal specification that can then be utilized by an existing reasoning and learning system to solve instances from the problem class. We present the design of LLM-enabled cognitive task analyst agent(s). Implemented with LLM agents, this system produces a definition of problem spaces for tasks specified in natural language. LLM prompts are derived from the definition of problem spaces in the AI literature and general problem-solving strategies (Polya’s How to Solve It). A cognitive system can then use the problem-space specification, applying domain-general problem solving strategies (‘weak methods’ such as search), to solve multiple instances of problems from the problem class. This result, while preliminary, suggests the potential for speeding cognitive systems research via disintermediation of problem formulation while also retaining core capabilities of cognitive systems, such as robust inference and online learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google