Combining Induction and Transduction for Abstract Reasoning

要約

非常に少数の例から入出力マッピングを学習する場合、最初に例を説明する潜在関数を推論する方が良いのでしょうか、それとも新しいテスト出力を直接予測する方が良いのでしょうか。
ニューラルネットワークを使っているのか？
私たちはこの質問を、抽象的な推論タスクの非常に多様なデータセットである ARC で研究します。
帰納 (潜在関数の推論) と変換 (特定のテスト入力に対するテスト出力を直接予測) のためにニューラル モデルをトレーニングします。
私たちのモデルは、推論される関数を指定する Python コードと、その関数への入力を生成する確率的サブルーチンを生成するように LLM に指示することによって生成された合成データでトレーニングされます。
同じ問題についてトレーニングしたにもかかわらず、また同じニューラル アーキテクチャを共有しているにもかかわらず、帰納的モデルと変換的モデルはまったく異なる問題を解決することがわかりました。

要約(オリジナル)

When learning an input-output mapping from very few examples, is it better to first infer a latent function that explains the examples, or is it better to directly predict new test outputs, e.g. using a neural network? We study this question on ARC, a highly diverse dataset of abstract reasoning tasks. We train neural models for induction (inferring latent functions) and transduction (directly predicting the test output for a given test input). Our models are trained on synthetic data generated by prompting LLMs to produce Python code specifying a function to be inferred, plus a stochastic subroutine for generating inputs to that function. We find inductive and transductive models solve very different problems, despite training on the same problems, and despite sharing the same neural architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google