A Metalearned Neural Circuit for Nonparametric Bayesian Inference

要約

分類への機械学習のアプリケーションのほとんどは、バランスの取れたクラスの閉じたセットを前提としています。
これは、クラス出現統計がロングテールべき乗則分布に従うことが多く、すべてのクラスが 1 つのサンプルで表示される可能性は低いという現実世界とは相容れません。
ノンパラメトリック ベイジアン モデルはこの現象を自然に捉えていますが、実装の複雑さと計算の非効率性という、広範な採用には大きな実用的な障壁があります。
これに対処するために、ノンパラメトリック ベイジアン モデルから帰納的バイアスを抽出し、それを人工ニューラル ネットワークに転送する方法を提案します。
ノンパラメトリック ベイズ事前分布を使用してデータをシミュレートすることにより、無制限のクラスのセットに対して推論を実行するシーケンス モデルをメタルラーニングできます。
トレーニング後、この「神経回路」は対応する誘導バイアスを抽出し、クラスの開いたセットに対して逐次推論を正常に実行できます。
私たちの実験結果は、メタル学習ニューラル回路が、これらのモデルにおける粒子フィルターベースの推論方法と同等以上のパフォーマンスを達成しながら、ベイジアン ノンパラメトリック推論を明示的に組み込んだ方法よりも高速かつ簡単に使用できることを示しています。

要約(オリジナル)

Most applications of machine learning to classification assume a closed set of balanced classes. This is at odds with the real world, where class occurrence statistics often follow a long-tailed power-law distribution and it is unlikely that all classes are seen in a single sample. Nonparametric Bayesian models naturally capture this phenomenon, but have significant practical barriers to widespread adoption, namely implementation complexity and computational inefficiency. To address this, we present a method for extracting the inductive bias from a nonparametric Bayesian model and transferring it to an artificial neural network. By simulating data with a nonparametric Bayesian prior, we can metalearn a sequence model that performs inference over an unlimited set of classes. After training, this ‘neural circuit’ has distilled the corresponding inductive bias and can successfully perform sequential inference over an open set of classes. Our experimental results show that the metalearned neural circuit achieves comparable or better performance than particle filter-based methods for inference in these models while being faster and simpler to use than methods that explicitly incorporate Bayesian nonparametric inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google