In Search of Trees: Decision-Tree Policy Synthesis for Black-Box Systems via Search

要約

デシジョン ツリーは、その解釈可能性により、(動的) システムの制御ポリシーとして魅力的です。
残念ながら、そのようなポリシーを構築または統合することは困難な作業です。
これまでのアプローチでは、ニューラル ネットワーク ポリシーを模倣したり、形式合成によって得られた表形式ポリシーを近似したり、強化学習を採用したり、混合整数線形プログラムとして問題をモデル化したりすることでこれを実現していました。
ただし、これらの作業では、入手が困難な正確なポリシーまたは環境の正式なモデル (正式な合成が可能な範囲内) へのアクセスが必要な場合があり、最終的なツリー ポリシーの品質やサイズについての保証が提供されない場合があります。
対照的に、決定論的なブラック ボックス環境と仕様、ツリー述語の離散化、および状態の初期セットを考慮して、最適なデシジョン ツリー ポリシーを合成するアプローチを提案します。最適性は、ステップ数に関して定義されます。
目標を達成します。
私たちのアプローチは、与えられた離散化の下でデシジョン ツリーの (指数関数的に大きい) 空間を系統的に探索する特殊な検索アルゴリズムです。
重要なコンポーネントは、検索スペースを大幅に削減する新しいトレースベースのプルーニング メカニズムです。
私たちのアプローチは、ブラックボックス仕様のブラックボックス環境であっても最適性が保証された小さな決定木ポリシーを合成する概念的に新しい方法を表しています。

要約(オリジナル)

Decision trees, owing to their interpretability, are attractive as control policies for (dynamical) systems. Unfortunately, constructing, or synthesising, such policies is a challenging task. Previous approaches do so by imitating a neural-network policy, approximating a tabular policy obtained via formal synthesis, employing reinforcement learning, or modelling the problem as a mixed-integer linear program. However, these works may require access to a hard-to-obtain accurate policy or a formal model of the environment (within reach of formal synthesis), and may not provide guarantees on the quality or size of the final tree policy. In contrast, we present an approach to synthesise optimal decision-tree policies given a deterministic black-box environment and specification, a discretisation of the tree predicates, and an initial set of states, where optimality is defined with respect to the number of steps to achieve the goal. Our approach is a specialised search algorithm which systematically explores the (exponentially large) space of decision trees under the given discretisation. The key component is a novel trace-based pruning mechanism that significantly reduces the search space. Our approach represents a conceptually novel way of synthesising small decision-tree policies with optimality guarantees even for black-box environments with black-box specifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google