Accelerating ODE-Based Neural Networks on Low-Cost FPGAs

要約

ODENet は、ResNet のスタック構造を常微分方程式 (ODE) ソルバーで実装したディープ ニューラル ネットワーク アーキテクチャです。
適切なソルバーを選択することで、パラメーターの数を減らし、精度とパフォーマンスのバランスを取ることができます。
また、リソースが限られているエッジ デバイスで同じ数のパラメータを維持しながら、精度を向上させることも可能です。
この論文では、オイラー法を ODE ソルバーとして使用し、ODENet の一部を PYNQ-Z2 ボードなどの低コスト FPGA (Field-Programmable Gate Array) ボードに専用ロジックとして実装します。
ODENet のバリアントとして、ODENet レイヤーの一部を多用し、いくつかのレイヤーを異なる方法で削減/削除する縮小 ODENets (rODENets) が提案され、低コストの FPGA 実装のために分析されています。
パラメータ サイズ、精度、実行時間、および FPGA のリソース使用率に関して評価されます。
結果は、元の ODENet に匹敵する精度を維持しながら、純粋なソフトウェア実行と比較して、rODENet バリアントの全体的な実行時間が最大 2.66 倍改善されることを示しています。

要約(オリジナル)

ODENet is a deep neural network architecture in which a stacking structure of ResNet is implemented with an ordinary differential equation (ODE) solver. It can reduce the number of parameters and strike a balance between accuracy and performance by selecting a proper solver. It is also possible to improve the accuracy while keeping the same number of parameters on resource-limited edge devices. In this paper, using Euler method as an ODE solver, a part of ODENet is implemented as a dedicated logic on a low-cost FPGA (Field-Programmable Gate Array) board, such as PYNQ-Z2 board. As ODENet variants, reduced ODENets (rODENets) each of which heavily uses a part of ODENet layers and reduces/eliminates some layers differently are proposed and analyzed for low-cost FPGA implementation. They are evaluated in terms of parameter size, accuracy, execution time, and resource utilization on the FPGA. The results show that an overall execution time of an rODENet variant is improved by up to 2.66 times compared to a pure software execution while keeping a comparable accuracy to the original ODENet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google