A Review of Symbolic, Subsymbolic and Hybrid Methods for Sequential Decision Making

要約

【タイトル】シーケンシャル決定問題を解決するための符号、サブシンボリックおよびハイブリッド手法に関するレビュー

【要約】

– シーケンシャル決定プロセス（SDP）を解決するためのツールを提供するシーケンシャル決定メイキング（SDM）の分野。
– Automated Planning（AP）は、しばしばシンボリックに表現された世界のモデル上で推論プロセスを実行してSDPを解決することを提案する。
– 一方、強化学習（RL）は、世界モデルなしでデータからSDPの解を学習し、学習した知識をサブシンボリックに表現することを提案する。
– 本論文では、シンボリック、サブシンボリック、ハイブリッド方法をレビューし、SDPの解決（AP、RL、計画学習など）とその構造の学習（世界モデル、状態不変式、ランドマークなど）の方法をカバーする。
– 現在の方法である神経シンボリックAIが理想的な方法に最も近いことを議論し、シンボリックとサブシンボリックAIを統合することでSDMの分野を進めるための提案を概説する。

要約(オリジナル)

The field of Sequential Decision Making (SDM) provides tools for solving Sequential Decision Processes (SDPs), where an agent must make a series of decisions in order to complete a task or achieve a goal. Historically, two competing SDM paradigms have view for supremacy. Automated Planning (AP) proposes to solve SDPs by performing a reasoning process over a model of the world, often represented symbolically. Conversely, Reinforcement Learning (RL) proposes to learn the solution of the SDP from data, without a world model, and represent the learned knowledge subsymbolically. In the spirit of reconciliation, we provide a review of symbolic, subsymbolic and hybrid methods for SDM. We cover both methods for solving SDPs (e.g., AP, RL and techniques that learn to plan) and for learning aspects of their structure (e.g., world models, state invariants and landmarks). To the best of our knowledge, no other review in the field provides the same scope. As an additional contribution, we discuss what properties an ideal method for SDM should exhibit and argue that neurosymbolic AI is the current approach which most closely resembles this ideal method. Finally, we outline several proposals to advance the field of SDM via the integration of symbolic and subsymbolic AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI