DreamDecompiler: Improved Bayesian Program Learning by Decompiling Amortised Knowledge

要約

プログラム誘導問題を解決するには、膨大な可能性の空間を探索する必要があります。
DreamCoder は、問題を解決しながら、ウェイク/スリープの反復手順で検索を簡素化する方法を学習する帰納的プログラム合成システムです。
検索のコストは、ニューラル検索ポリシーをトレーニングし、検索範囲を縮小し、タスク全体にわたるプログラム ソリューションを構成するために有用な情報を効果的に「コンパイル」することによって償却されます。
さらに、プログラム コンポーネントのライブラリは、発見されたソリューションをより少ないコンポーネントで表現するように学習され、検索の深さが減ります。
DreamCoder では、ニューラル検索ポリシーは、発見に役立つプログラム ソリューションを通じて学習されたライブラリに対して間接的な影響しか与えません。
私たちは、ニューラル検索ポリシーを直接活用し、償却された知識を効果的に「逆コンパイル」して、関連するプログラム コンポーネントを抽出する、ライブラリ学習のアプローチを提案します。
これにより、より強力な償却推論が提供されます。検索範囲を減らすために学習した償却知識が、検索深さを減らすためにも使用されるようになりました。
私たちのアプローチを DreamCoder と統合し、特に利用可能なサンプル ソリューションが少ない場合に、さまざまなドメインでの一般化が向上し、より迅速なドメインの習熟度を実証します。

要約(オリジナル)

Solving program induction problems requires searching through an enormous space of possibilities. DreamCoder is an inductive program synthesis system that, whilst solving problems, learns to simplify search in an iterative wake-sleep procedure. The cost of search is amortised by training a neural search policy, reducing search breadth and effectively ‘compiling’ useful information to compose program solutions across tasks. Additionally, a library of program components is learnt to express discovered solutions in fewer components, reducing search depth. In DreamCoder, the neural search policy has only an indirect effect on the library learnt through the program solutions it helps discover. We present an approach for library learning that directly leverages the neural search policy, effectively ‘decompiling’ its amortised knowledge to extract relevant program components. This provides stronger amortised inference: the amortised knowledge learnt to reduce search breadth is now also used to reduce search depth. We integrate our approach with DreamCoder and demonstrate faster domain proficiency with improved generalisation on a range of domains, particularly when fewer example solutions are available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google