Improving Unsupervised Visual Program Inference with Code Rewriting Families

要約

プログラムは、ビジュアル データを魅力的に表現できるコンパクトさと構造を提供します。
コードの書き換えを使用して、視覚データからプログラムを推論するシステムを改善する方法を検討します。
まず、教師なしブートストラップ学習のフレームワークである Sparse Intermittent Rewrite Injection (SIRI) を提案します。
SIRI は、トレーニング プログラムのデータセットに対してコード書き換え操作をまばらに適用し、改善されたプログラムをトレーニング セットに戻します。
私たちは、パラメーターの最適化、コードの枝刈り、コードのグラフティングなどのビジュアル プログラミング ドメイン向けのリライターのファミリーを設計しています。
2D および 3D の 3 つの形状プログラミング言語について、リライター ファミリで SIRI を使用すると、リライターを使用しない、または単純に使用するブートストラップ学習方法と比較して、再構成が改善され、収束速度が速くなり、パフォーマンスが向上することを示します。
最後に、テスト時にリライターのファミリーを効果的に使用して、SIRI 予測の出力を向上できることを示します。
2D および 3D CSG では、最近のドメイン固有のニューラル アーキテクチャの再構築パフォーマンスを上回るかそれに匹敵する一方で、使用するプリミティブの数が大幅に削減された、より節約されたプログラムを生成します。

要約(オリジナル)

Programs offer compactness and structure that makes them an attractive representation for visual data. We explore how code rewriting can be used to improve systems for inferring programs from visual data. We first propose Sparse Intermittent Rewrite Injection (SIRI), a framework for unsupervised bootstrapped learning. SIRI sparsely applies code rewrite operations over a dataset of training programs, injecting the improved programs back into the training set. We design a family of rewriters for visual programming domains: parameter optimization, code pruning, and code grafting. For three shape programming languages in 2D and 3D, we show that using SIRI with our family of rewriters improves performance: better reconstructions and faster convergence rates, compared with bootstrapped learning methods that do not use rewriters or use them naively. Finally, we demonstrate that our family of rewriters can be effectively used at test time to improve the output of SIRI predictions. For 2D and 3D CSG, we outperform or match the reconstruction performance of recent domain-specific neural architectures, while producing more parsimonious programs that use significantly fewer primitives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google