Human-like Few-Shot Learning via Bayesian Reasoning over Natural Language

要約

概念学習モデルにおける中心的な緊張は、モデルが仮説クラスの表現力に対する推論の扱いやすさのバランスを慎重にとらなければならないことです。
しかし、人間は広範囲の概念を効率的に学ぶことができます。
その意味で人間らしさを追求した帰納的学習のモデルを紹介します。
これは、言語モデルが最初に自然言語で表現された候補仮説を提案し、次に事前確率と尤度によって再重み付けされるベイジアン推論プロセスを実装します。
人間のデータから事前確率を推定することで、生成的、弁別的、命題的、高次の概念にわたる、数値と集合を含む学習問題に対する人間の判断を予測できます。

要約(オリジナル)

A core tension in models of concept learning is that the model must carefully balance the tractability of inference against the expressivity of the hypothesis class. Humans, however, can efficiently learn a broad range of concepts. We introduce a model of inductive learning that seeks to be human-like in that sense. It implements a Bayesian reasoning process where a language model first proposes candidate hypotheses expressed in natural language, which are then re-weighed by a prior and a likelihood. By estimating the prior from human data, we can predict human judgments on learning problems involving numbers and sets, spanning concepts that are generative, discriminative, propositional, and higher-order.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google