Numerical Stability of DeepGOPlus Inference

要約

畳み込みニューラル ネットワーク (CNN) は、現在利用可能なディープ ニューラル ネットワーク (DNN) アーキテクチャの中で最も広く使用されており、多くの問題に対して最先端のパフォーマンスを実現します。
CNN はもともとコンピューター ビジョン タスクに適用されていましたが、画像以外にも空間関係のあるあらゆるデータにうまく機能し、さまざまな分野に適用されてきました。
ただし、最近の研究では、DNN の数値安定性の課題が強調されており、これはノイズ注入に対する既知の感度にも関連しています。
これらの課題により、パフォーマンスと信頼性が危険にさらされる可能性があります。
この論文では、タンパク質の機能を予測する CNN である DeepGOPlus について調査します。
DeepGOPlus は最先端のパフォーマンスを達成しており、プロテオミクスで出現する豊富なタンパク質配列をうまく利用して注釈を付けることができます。
基礎となる浮動小数点データの摂動から生じる数値的不確実性を定量化することにより、モデルの推論段階の数値的安定性を判断します。
さらに、DeepGOPlus 推論に精度の低い浮動小数点形式を使用して、メモリ消費と遅延を削減する機会を検討します。
これは、浮動小数点演算エラーを実験的に定量化する手法であるモンテカルロ演算と、カスタマイズ可能な浮動小数点精度形式で結果をエミュレートするツールである VPREC を使用して DeepGOPlus の実行を計測することによって実現されます。
推論段階は DeepGOPlus モデルの主要な成果物であり、さまざまな環境に広く適用できるため、推論段階に重点が置かれています。
全体として、私たちの結果は、DeepGOPlus CNN は数値的には非常に安定していますが、低精度の浮動小数点形式でのみ選択的に実装できることを示しています。
事前トレーニングされた DeepGOPlus モデルから得られた予測は数値的に非常に信頼性が高く、既存の浮動小数点形式を効率的に使用していると結論付けています。

要約(オリジナル)

Convolutional neural networks (CNNs) are currently among the most widely-used deep neural network (DNN) architectures available and achieve state-of-the-art performance for many problems. Originally applied to computer vision tasks, CNNs work well with any data with a spatial relationship, besides images, and have been applied to different fields. However, recent works have highlighted numerical stability challenges in DNNs, which also relates to their known sensitivity to noise injection. These challenges can jeopardise their performance and reliability. This paper investigates DeepGOPlus, a CNN that predicts protein function. DeepGOPlus has achieved state-of-the-art performance and can successfully take advantage and annotate the abounding protein sequences emerging in proteomics. We determine the numerical stability of the model’s inference stage by quantifying the numerical uncertainty resulting from perturbations of the underlying floating-point data. In addition, we explore the opportunity to use reduced-precision floating point formats for DeepGOPlus inference, to reduce memory consumption and latency. This is achieved by instrumenting DeepGOPlus’ execution using Monte Carlo Arithmetic, a technique that experimentally quantifies floating point operation errors and VPREC, a tool that emulates results with customizable floating point precision formats. Focus is placed on the inference stage as it is the primary deliverable of the DeepGOPlus model, widely applicable across different environments. All in all, our results show that although the DeepGOPlus CNN is very stable numerically, it can only be selectively implemented with lower-precision floating-point formats. We conclude that predictions obtained from the pre-trained DeepGOPlus model are very reliable numerically, and use existing floating-point formats efficiently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google