Examining the Effect of Implementation Factors on Deep Learning Reproducibility

要約

出版された深層学習論文を再現して結論を​​検証することは、再現不可能性の原因により困難な場合があります。
私たちは、実装要因が結果に与える影響と、それらが深層学習研究の再現性にどのように影響するかを調査します。
3 つの深層学習実験が、13 の異なるハードウェア環境と 4 つの異なるソフトウェア環境でそれぞれ 5 回実行されました。
780 件の結果を組み合わせて分析したところ、ハードウェアまたはソフトウェア環境の変動のみから導入された同じ決定論的な例について、6% を超える精度範囲があることがわかりました。
これらの実装要因を考慮するには、研究者は異なるハードウェアおよびソフトウェア環境で実験を複数回実行して、結論が影響を受けないことを確認する必要があります。

要約(オリジナル)

Reproducing published deep learning papers to validate their conclusions can be difficult due to sources of irreproducibility. We investigate the impact that implementation factors have on the results and how they affect reproducibility of deep learning studies. Three deep learning experiments were ran five times each on 13 different hardware environments and four different software environments. The analysis of the 780 combined results showed that there was a greater than 6% accuracy range on the same deterministic examples introduced from hardware or software environment variations alone. To account for these implementation factors, researchers should run their experiments multiple times in different hardware and software environments to verify their conclusions are not affected.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google