Bayesian Program Learning by Decompiling Amortized Knowledge

要約

DreamCoder は帰納的プログラム合成システムであり、問​​題を解決しながら、ウェイク/スリープの反復手順で検索を簡素化する方法を学習します。
検索のコストは、ニューラル検索ポリシーをトレーニングし、検索範囲を縮小し、タスク全体にわたるプログラム ソリューションを構成するために有用な情報を効果的に「コンパイル」することによって償却されます。
さらに、プログラム コンポーネントのライブラリは、発見されたソリューションをより少ないコンポーネントで圧縮して表現することを学習し、検索の深さを減らします。
私たちは、ニューラル検索ポリシーを直接活用し、償却された知識を効果的に「逆コンパイル」して関連するプログラム コンポーネントを抽出する、ライブラリ学習のための新しいアプローチを提案します。
これにより、より強力な償却推論が提供されます。検索範囲を減らすために学習した償却知識が、検索深さを減らすためにも使用されるようになりました。
私たちのアプローチを DreamCoder と統合し、特に利用可能なサンプル ソリューションが少ない場合に、さまざまなドメインでの一般化が向上し、より迅速なドメインの習熟度を実証します。

要約(オリジナル)

DreamCoder is an inductive program synthesis system that, whilst solving problems, learns to simplify search in an iterative wake-sleep procedure. The cost of search is amortized by training a neural search policy, reducing search breadth and effectively ‘compiling’ useful information to compose program solutions across tasks. Additionally, a library of program components is learnt to compress and express discovered solutions in fewer components, reducing search depth. We present a novel approach for library learning that directly leverages the neural search policy, effectively ‘decompiling’ its amortized knowledge to extract relevant program components. This provides stronger amortized inference: the amortized knowledge learnt to reduce search breadth is now also used to reduce search depth. We integrate our approach with DreamCoder and demonstrate faster domain proficiency with improved generalization on a range of domains, particularly when fewer example solutions are available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google