Probabilistic Invariant Learning with Randomized Linear Classifiers

要約

表現力豊かで、タスクの既知の不変性を維持するモデルを設計することは、ますます困難な問題になっています。
既存のソリューションは、計算リソースまたはメモリ リソースの不変性をトレードオフします。
この研究では、ランダム性を活用し、表現力豊かで不変でありながらリソースの使用量が少ないモデルを設計する方法を示します。
ランダム化アルゴリズムにインスピレーションを得た私たちの重要な洞察は、普遍的な近似と不変性の確率的概念を受け入れることで、リソース要件を削減できるということです。
より具体的には、ランダム化線形分類子 (RLC) と呼ばれるバイナリ分類モデルのクラスを提案します。
グループ変換をコンパクトにするための不変性を維持しながら、RLC が高い確率で任意の (滑らかな) 関数を近似できるパラメーターとサンプル サイズの条件を与えます。
この結果を利用して、セット、グラフ、および球面データにわたる分類タスクに対して確率的に不変であることが証明される 3 つの RLC を設計します。
これらのモデルが、(決定論的) ニューラル ネットワークやその不変モデルよりも少ないリソースを使用して、確率的不変性と普遍性をどのように達成できるかを示します。
最後に、決定論的不変ニューラル ネットワークが困難であることが知られている不変タスクにおけるこの新しいクラスのモデルの利点を経験的に示します。

要約(オリジナル)

Designing models that are both expressive and preserve known invariances of tasks is an increasingly hard problem. Existing solutions tradeoff invariance for computational or memory resources. In this work, we show how to leverage randomness and design models that are both expressive and invariant but use less resources. Inspired by randomized algorithms, our key insight is that accepting probabilistic notions of universal approximation and invariance can reduce our resource requirements. More specifically, we propose a class of binary classification models called Randomized Linear Classifiers (RLCs). We give parameter and sample size conditions in which RLCs can, with high probability, approximate any (smooth) function while preserving invariance to compact group transformations. Leveraging this result, we design three RLCs that are provably probabilistic invariant for classification tasks over sets, graphs, and spherical data. We show how these models can achieve probabilistic invariance and universality using less resources than (deterministic) neural networks and their invariant counterparts. Finally, we empirically demonstrate the benefits of this new class of models on invariant tasks where deterministic invariant neural networks are known to struggle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google