SCOOP: A Framework for Proactive Collaboration and Social Continual Learning through Natural Language Interaction andCausal Reasoning

要約

動的環境でユーザーがAIと協力するマルチモーダル情報収集設定は、ますます一般的になっています。
これらには、テキストとマルチモーダルの相互作用を備えた複雑なプロセスが含まれ、多くの場合、コストを含むリクエストを介して追加の構造情報が必要です。
AIヘルパーには、ユーザーの真の目標、信念、好みへのアクセスがなく、多様な情報を効果的に統合するのに苦労しています。
因果知識の習得と共同意思決定のための社会的継続的な学習フレームワークを提案します。
これは、オープンで部分的に観察可能な環境での対話、質問アサイク、および相互作用を通じて学習する自律エージェントに焦点を当てています。
重要なコンポーネントは、環境メカニズムと状態に関するエージェントの質問に答える自然言語の神託であり、探査または学習のバランスをとりながら因果的理解を洗練し、搾取または知識の使用です。
発達心理学に触発された評価タスクは、因果的な推論と質問アスクスキルを強調しています。
知識のギャップを特定し、意味のあるクエリを生成し、推論を段階的に更新するエージェントの能力を評価することにより、ベンチマークを補完します。
また、このフレームワークは、同じ環境内のタスク全体で知識の習得コストがどのように償却されるかを評価します。
2つのアーキテクチャを提案します。1）Reactフレームワークと質問生成と大規模な言語モデル（LLM）を組み合わせたシステム、および2）推論と意思決定のために、シンボリック、グラフベース、またはサブシンボリックの因果世界モデルを備えた高度なシステム。
後者は、制約の下で効率的な推論と適応性のために因果的知識グラフを構築します。
課題には、因果的推論を反応に統合し、エラーが発生しやすいシナリオでの探査と質問の最適化が含まれます。
アプリケーションを超えて、このフレームワークは、因果的推論、質問生成、社会学習を組み合わせた発達プロセスをモデル化します。

要約(オリジナル)

Multimodal information-gathering settings, where users collaborate with AI in dynamic environments, are increasingly common. These involve complex processes with textual and multimodal interactions, often requiring additional structural information via cost-incurring requests. AI helpers lack access to users’ true goals, beliefs, and preferences and struggle to integrate diverse information effectively. We propose a social continual learning framework for causal knowledge acquisition and collaborative decision-making. It focuses on autonomous agents learning through dialogues, question-asking, and interaction in open, partially observable environments. A key component is a natural language oracle that answers the agent’s queries about environmental mechanisms and states, refining causal understanding while balancing exploration or learning, and exploitation or knowledge use. Evaluation tasks inspired by developmental psychology emphasize causal reasoning and question-asking skills. They complement benchmarks by assessing the agent’s ability to identify knowledge gaps, generate meaningful queries, and incrementally update reasoning. The framework also evaluates how knowledge acquisition costs are amortized across tasks within the same environment. We propose two architectures: 1) a system combining Large Language Models (LLMs) with the ReAct framework and question-generation, and 2) an advanced system with a causal world model, symbolic, graph-based, or subsymbolic, for reasoning and decision-making. The latter builds a causal knowledge graph for efficient inference and adaptability under constraints. Challenges include integrating causal reasoning into ReAct and optimizing exploration and question-asking in error-prone scenarios. Beyond applications, this framework models developmental processes combining causal reasoning, question generation, and social learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google