Parallel Algorithms Align with Neural Execution

要約

ニューラル・アルゴリズム推論装置は並列プロセッサである。逐次的アルゴリズムを教えることはこの性質に反し、計算の大部分を冗長にしてしまう。しかし、並列アルゴリズムはその計算能力をフルに活用することができるため、実行するレイヤーの数が少なくて済む。これは、CLRSフレームワーク上で検索、ソート、強連結成分の探索の並列実装を逐次実装と比較した場合に見られるように、学習時間を劇的に短縮する。さらに、並列バージョンは（しばしば強く）優れた予測性能を達成する。

要約(オリジナル)

Neural algorithmic reasoners are parallel processors. Teaching them sequential algorithms contradicts this nature, rendering a significant share of their computations redundant. Parallel algorithms however may exploit their full computational power, therefore requiring fewer layers to be executed. This drastically reduces training times, as we observe when comparing parallel implementations of searching, sorting and finding strongly connected components to their sequential counterparts on the CLRS framework. Additionally, parallel versions achieve (often strongly) superior predictive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL