Compositional Program Generation for Few-Shot Systematic Generalization

要約

構成的一般化は、ほんの一握りの例から新しい概念を学ぶことを可能にする人間の重要な能力です。
現在ユビキタスな Transformer を含むニューラル機械学習モデルは、この方法で一般化するのに苦労しており、通常、意味のある一般化を行うには、トレーニング中に概念の数千の例が必要です。
人間と人工神経構造との間のこの能力の違いが、構成プログラム ジェネレーター (CPG) と呼ばれる神経記号構造に関するこの研究の動機となっています。
CPG には、文法規則の形で \textit{modularity}、\textit{composition}、\textit{abstraction} という 3 つの重要な機能があり、これらにより、次のように、両方を数回の方法で体系的に新しい概念に一般化できます。
また、さまざまなシーケンス間の言語タスクで長さによって生産的に実行できます。
CPG は入力ごとに、入力言語の文法とパーサーを使用して、各文法規則に独自の意味論的モジュール、つまり確率的コピーまたは置換プログラムが割り当てられる解析を生成します。
同じ解析を持つインスタンスは常に同じ構成モジュールで処理されますが、異なる解析を持つインスタンスは異なるモジュールで処理される場合があります。
CPG はモジュールのパラメータを学習し、すでに確認したルールを忘れたり再トレーニングしたりすることなく、新しいルールとタイプのセマンティクスを段階的に学習できます。
SCAN ではわずか 14 例、COGS では 22 例を使用して、SCAN と COGS ベンチマークの両方で完全な一般化を達成します。サンプル効率が 1000 倍向上した最先端の精度です。

要約(オリジナル)

Compositional generalization is a key ability of humans that enables us to learn new concepts from only a handful examples. Neural machine learning models, including the now ubiquitous Transformers, struggle to generalize in this way, and typically require thousands of examples of a concept during training in order to generalize meaningfully. This difference in ability between humans and artificial neural architectures, motivates this study on a neuro-symbolic architecture called the Compositional Program Generator (CPG). CPG has three key features: \textit{modularity}, \textit{composition}, and \textit{abstraction}, in the form of grammar rules, that enable it to generalize both systematically to new concepts in a few-shot manner, as well as productively by length on various sequence-to-sequence language tasks. For each input, CPG uses a grammar of the input language and a parser to generate a parse in which each grammar rule is assigned its own unique semantic module, a probabilistic copy or substitution program. Instances with the same parse are always processed with the same composed modules, while those with different parses may be processed with different modules. CPG learns parameters for the modules and is able to learn the semantics for new rules and types incrementally, without forgetting or retraining on rules it’s already seen. It achieves perfect generalization on both the SCAN and COGS benchmarks using just 14 examples for SCAN and 22 examples for COGS — state-of-the-art accuracy with a 1000x improvement in sample efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google