Network architecture search of X-ray based scientific applications

要約

X 線および電子回折ベースの顕微鏡検査では、ブラッグ ピーク検出とタイコグラフィーを使用して、原子分解能で 3D イメージングを実行します。
通常、これらの手法は、Psuedo-Voigt 関数や複雑な逆問題の解決など、計算が複雑なタスクを使用して実装されます。
最近、ディープ ニューラル ネットワークの使用により、既存の最先端のアプローチが改善されました。
ただし、ニューラル ネットワーク モデルの設計と開発は、アプリケーションの専門家による時間と労力をかけてモデルを調整することに依存しています。
そのために、モデル サイズ、エネルギー消費、およびスループットに関するニューラル ネットワーク モデルの設計と最適化を自動化する、ハイパーパラメーター (HPS) およびニューラル アーキテクチャ検索 (NAS) アプローチを提案します。
手動で調整された BraggNN および PtychoNN ベンチマークと比較した場合、自動調整されたモデルのパフォーマンスが向上していることを示します。
私たちは、ブラッグ ピーク検出とタイコグラフィック再構成のパフォーマンスを向上させる上で、調整可能なハイパーパラメーターの検索空間を探索することの重要性を研究し、実証します。
当社の NAS と HPS は、(1) BraggNN はモデル サイズの 87.57\% 削減によりブラッグ ピーク検出精度の 31.03\% 向上を達成し、(2) PtychoNN はモデル精度の 16.77\% 向上と 12.82\% の削減を達成しました。
ベースライン PtychoNN モデルと比較した場合のモデル サイズ。
Orin-AGX プラットフォームで推論すると、最適化された Braggnn モデルと Ptychonn モデルは、それぞれのベースラインと比較して、推論レイテンシが 10.51\% および 9.47\% 削減され、エネルギー消費が 44.18\% および 15.34\% 削減されることが実証されています。
Orin-AGX エッジ プラットフォームで。

要約(オリジナル)

X-ray and electron diffraction-based microscopy use bragg peak detection and ptychography to perform 3-D imaging at an atomic resolution. Typically, these techniques are implemented using computationally complex tasks such as a Psuedo-Voigt function or solving a complex inverse problem. Recently, the use of deep neural networks has improved the existing state-of-the-art approaches. However, the design and development of the neural network models depends on time and labor intensive tuning of the model by application experts. To that end, we propose a hyperparameter (HPS) and neural architecture search (NAS) approach to automate the design and optimization of the neural network models for model size, energy consumption and throughput. We demonstrate the improved performance of the auto-tuned models when compared to the manually tuned BraggNN and PtychoNN benchmark. We study and demonstrate the importance of the exploring the search space of tunable hyperparameters in enhancing the performance of bragg peak detection and ptychographic reconstruction. Our NAS and HPS of (1) BraggNN achieves a 31.03\% improvement in bragg peak detection accuracy with a 87.57\% reduction in model size, and (2) PtychoNN achieves a 16.77\% improvement in model accuracy and a 12.82\% reduction in model size when compared to the baseline PtychoNN model. When inferred on the Orin-AGX platform, the optimized Braggnn and Ptychonn models demonstrate a 10.51\% and 9.47\% reduction in inference latency and a 44.18\% and 15.34\% reduction in energy consumption when compared to their respective baselines, when inferred in the Orin-AGX edge platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google