Cluster Flow: how a hierarchical clustering layer make allows deep-NNs more resilient to hacking, more human-like and easily implements relational reasoning

要約

タイトル：Cluster Flow：階層クラスタリング層により、深層ニューラルネットワークはハッキングにより耐性が高く、より人間らしく、簡単に関係推論実行可能になる。

要約：
– 人工知能（特に深層畳み込みニューラルネットワーク）のためのニューラルネットワーク（NN）において、最近の大発展にもかかわらず、人間レベルのパフォーマンスには達していない。
– NNは画像において、人間では困惑を与えないようなイメージでハッキングされる可能性がある。
– 人間レベルの知性の基礎とされるのは、異なるオブジェクトの比較、類似性の測定、オブジェクト間の関係の把握、オブジェクトのセットの中の特異なものの判断など、関係推論の能力である。
– ここでは、教師あり学習の階層クラスタリングフレームワークであるClusterFlowが、事前のSoftMax層にあるクラスと特徴データを利用してトレーニングされたNN上で操作し、クラス/特徴の特徴空間マップを構築することで、現代の深層畳み込みニューラルネットワークにより人間らしい機能性を追加することができることを示す。
– これは、以下の3つのタスクで実証される。1.猫と犬の画像を見た時、赤ちゃんが作る基于统计的な「間違い」。2.画像ハッキングへの耐性および深層NNの正確な確度測定の改善。3.画像セットにおける関係推論（NNが知らない/見たことのない画像にも対応）。
– また、ClusterFlowは、NNデータに限らず、化学データセットでテストすることで欠落データも処理することができることが示された。
– この研究は、現代の深層NNにおいて、NNの再トレーニングなしに、人間らしさを追加することができることを示唆している。また、深層畳み込みNNに使用される一部の方法は生物学的にも、おそらく最良のアプローチではないことが知られているため、ClusterFlowフレームワークは、どんなNNの上にも配置可能であり、これは今後NNがこの点で改善されるにつれて非常に有用なツールである。

要約(オリジナル)

Despite the huge recent breakthroughs in neural networks (NNs) for artificial intelligence (specifically deep convolutional networks) such NNs do not achieve human-level performance: they can be hacked by images that would fool no human and lack `common sense’. It has been argued that a basis of human-level intelligence is mankind’s ability to perform relational reasoning: the comparison of different objects, measuring similarity, grasping of relations between objects and the converse, figuring out the odd one out in a set of objects. Mankind can even do this with objects they have never seen before. Here we show how ClusterFlow, a semi-supervised hierarchical clustering framework can operate on trained NNs utilising the rich multi-dimensional class and feature data found at the pre-SoftMax layer to build a hyperspacial map of classes/features and this adds more human-like functionality to modern deep convolutional neural networks. We demonstrate this with 3 tasks. 1. the statistical learning based `mistakes’ made by infants when attending to images of cats and dogs. 2. improving both the resilience to hacking images and the accurate measure of certainty in deep-NNs. 3. Relational reasoning over sets of images, including those not known to the NN nor seen before. We also demonstrate that ClusterFlow can work on non-NN data and deal with missing data by testing it on a Chemistry dataset. This work suggests that modern deep NNs can be made more human-like without re-training of the NNs. As it is known that some methods used in deep and convolutional NNs are not biologically plausible or perhaps even the best approach: the ClusterFlow framework can sit on top of any NN and will be a useful tool to add as NNs are improved in this regard.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI