TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin Machines

要約

Tsetlin Machines (TM) は、算術ベースの機械学習から論理ベースの機械学習への根本的な移行を実現します。
畳み込みをサポートし、MNIST、Fashion-MNIST、CIFAR-2 などの画像分類データセットを適切に処理します。
ただし、TM は、より複雑なタスクを表す CIFAR-10 および CIFAR-100 で最先端のパフォーマンスを得るのに苦労しています。
このペーパーでは、TM コンポジットと呼ばれる、特殊な TM 間のプラグ アンド プレイ コラボレーションを紹介します。
このコラボレーションは、TM が学習中に専門化し、推論中にその能力を評価する能力に依存しています。
チームを組むときは、最も自信のある TM が決定を下し、不確実な TM を安心させます。
このようにして、TM コンポジットはメンバーよりも有能になり、専門分野の恩恵を受けます。
このコラボレーションはプラグ アンド プレイであり、メンバーを微調整することなく、いつでも任意の方法で組み合わせることができます。
実証的評価では、勾配のヒストグラム、適応ガウスしきい値、および色温度計という 3 つの TM 専門化を実装しています。
結果として得られる TM Composite は、Fashion-MNIST の精度を 2 ポイント、CIFAR-10 の精度を 12 ポイント、CIFAR-100 の精度を 9 ポイント向上させ、TM に新しい最先端の結果をもたらします。
全体として、私たちは TM Composites によって、より多くのタスクとデータセットに対して最先端の深層学習に代わる、超低エネルギーで透明性の高い代替手段が可能になると考えています。

要約(オリジナル)

Tsetlin Machines (TMs) provide a fundamental shift from arithmetic-based to logic-based machine learning. Supporting convolution, they deal successfully with image classification datasets like MNIST, Fashion-MNIST, and CIFAR-2. However, the TM struggles with getting state-of-the-art performance on CIFAR-10 and CIFAR-100, representing more complex tasks. This paper introduces plug-and-play collaboration between specialized TMs, referred to as TM Composites. The collaboration relies on a TM’s ability to specialize during learning and to assess its competence during inference. When teaming up, the most confident TMs make the decisions, relieving the uncertain ones. In this manner, a TM Composite becomes more competent than its members, benefiting from their specializations. The collaboration is plug-and-play in that members can be combined in any way, at any time, without fine-tuning. We implement three TM specializations in our empirical evaluation: Histogram of Gradients, Adaptive Gaussian Thresholding, and Color Thermometers. The resulting TM Composite increases accuracy on Fashion-MNIST by two percentage points, CIFAR-10 by twelve points, and CIFAR-100 by nine points, yielding new state-of-the-art results for TMs. Overall, we envision that TM Composites will enable an ultra-low energy and transparent alternative to state-of-the-art deep learning on more tasks and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google