Searching Latent Program Spaces

要約

プログラム合成手法は、入出力ペアの特定の仕様を説明できる言語に限定されたプログラムを自動的に生成することを目的としています。
純粋にシンボリックなアプローチは組み合わせ検索空間に悩まされますが、最近の方法ではニューラル ネットワークを活用してプログラム構造全体にわたる分布を学習し、この検索空間を大幅に狭め、より効率的な検索を可能にします。
ただし、難しい問題の場合、プログラム合成をワンショットで実行するようにモデルをトレーニングすることは依然として困難であるため、テスト時の検索が不可欠になります。
ほとんどのニューラル手法には推論中の構造化された検索メカニズムが欠如しており、代わりに確率的サンプリングや勾配更新に依存しているため、非効率となる可能性があります。
この研究では、潜在プログラム ネットワーク (LPN) を提案します。これは、連続空間内の潜在プログラムの分布を学習し、効率的な検索とテスト時間の適応を可能にする、プログラム誘導のための一般的なアルゴリズムです。
これらのネットワークをトレーニングしてテスト時の計算を最適化する方法を検討し、トレーニング中とテスト時の両方で勾配ベースの検索の使用を実証します。
ARC-AGI は、基礎となる仕様を説明するのではなく、新しい入力に対してプログラムを一般化することでパフォーマンスを評価するプログラム合成ベンチマークで、LPN を評価します。
我々は、LPN がテスト時の計算を利用することでトレーニング分布を超えて一般化し、目に見えないタスクに適応でき、テスト時適応メカニズムを持たないアルゴリズムよりも優れたパフォーマンスを発揮できることを示します。

要約(オリジナル)

Program synthesis methods aim to automatically generate programs restricted to a language that can explain a given specification of input-output pairs. While purely symbolic approaches suffer from a combinatorial search space, recent methods leverage neural networks to learn distributions over program structures to narrow this search space significantly, enabling more efficient search. However, for challenging problems, it remains difficult to train models to perform program synthesis in one shot, making test-time search essential. Most neural methods lack structured search mechanisms during inference, relying instead on stochastic sampling or gradient updates, which can be inefficient. In this work, we propose the Latent Program Network (LPN), a general algorithm for program induction that learns a distribution over latent programs in a continuous space, enabling efficient search and test-time adaptation. We explore how to train these networks to optimize for test-time computation and demonstrate the use of gradient-based search both during training and at test time. We evaluate LPN on ARC-AGI, a program synthesis benchmark that evaluates performance by generalizing programs to new inputs rather than explaining the underlying specification. We show that LPN can generalize beyond its training distribution and adapt to unseen tasks by utilizing test-time computation, outperforming algorithms without test-time adaptation mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google