Benchmarking Predictive Coding Networks — Made Simple

要約

この作業では、機械学習における予測コーディングネットワーク（PCN）の効率とスケーラビリティの問題に取り組みます。
そのために、パフォーマンスとシンプルさに焦点を当てたPCXと呼ばれるライブラリを提案し、それを使用して、コミュニティが実験に使用するための標準ベンチマークの大規模なセットを実装します。
フィールドのほとんどの作品が独自のタスクとアーキテクチャを提案しているため、互いに比較しないでください。小規模なタスク、シンプルで高速なオープンソースライブラリ、および包括的なベンチマークのセットに焦点を当て、これらすべての懸念に対処します。
次に、PCN用の既存のアルゴリズムの両方を使用して、バイオプリュージブルディープラーニングコミュニティで人気のある他の方法の適応を使用して、このようなベンチマークで広範なテストを実行します。
これにより、（i）より複雑なデータセットで、文献で一般的に使用されているよりもはるかに大きいテストアーキテクチャが可能になりました。
（ii）〜提供されたすべてのタスクとデータセットで、新しい最先端の結果に到達します。
（iii）〜PCNの現在の制限が何であるかを明確に強調し、重要な将来の研究の方向性を述べることができます。
フィールドの主要なオープンな問題の1つであるスケーラビリティに向けてコミュニティの努力を促進することを期待して、コード、テスト、ベンチマークをリリースします。
ライブラリへのリンク：https：//github.com/liukidar/pcx

要約(オリジナル)

In this work, we tackle the problems of efficiency and scalability for predictive coding networks (PCNs) in machine learning. To do so, we propose a library, called PCX, that focuses on performance and simplicity, and use it to implement a large set of standard benchmarks for the community to use for their experiments. As most works in the field propose their own tasks and architectures, do not compare one against each other, and focus on small-scale tasks, a simple and fast open-source library and a comprehensive set of benchmarks would address all these concerns. Then, we perform extensive tests on such benchmarks using both existing algorithms for PCNs, as well as adaptations of other methods popular in the bio-plausible deep learning community. All this has allowed us to (i) test architectures much larger than commonly used in the literature, on more complex datasets; (ii)~reach new state-of-the-art results in all of the tasks and datasets provided; (iii)~clearly highlight what the current limitations of PCNs are, allowing us to state important future research directions. With the hope of galvanizing community efforts towards one of the main open problems in the field, scalability, we release code, tests, and benchmarks. Link to the library: https://github.com/liukidar/pcx

arxiv情報

提供元, 利用サービス

arxiv.jp, Google