PEAR: A Robust and Flexible Automation Framework for Ptychography Enabled by Multiple Large Language Model Agents

要約

タイコグラフィーは、X 線および電子顕微鏡における高度な計算によるイメージング技術です。
物理学、化学、生物学、材料科学などの科学研究分野だけでなく、半導体の特性評価などの産業用途でも広く採用されています。
実際には、高品質のタイコグラフィック画像を取得するには、多数の実験パラメータとアルゴリズムパラメータを同時に最適化する必要があります。
従来、パラメータの選択は試行錯誤に頼ることが多く、ワークフローのスループットが低下したり、人間によるバイアスが発生したりする可能性がありました。
この研究では、大規模言語モデル (LLM) を利用してタイコグラフィーのデータ分析を自動化するフレームワークである「タイコグラフィック実験分析ロボット」(PEAR) を開発します。
高い堅牢性と精度を確保するために、PEAR は知識の検索、コード生成、パラメーターの推奨、画像推論などのタスクに複数の LLM エージェントを採用しています。
私たちの調査では、LLaMA 3.1 8B のような小規模なオープンウェイト モデルであっても、PEAR のマルチエージェント設計によりワークフローの成功率が大幅に向上することが実証されています。
また、PEAR はさまざまな自動化レベルをサポートし、カスタマイズされたローカルの知識ベースと連携して動作するように設計されており、さまざまな研究環境にわたる柔軟性と適応性を確保します。

要約(オリジナル)

Ptychography is an advanced computational imaging technique in X-ray and electron microscopy. It has been widely adopted across scientific research fields, including physics, chemistry, biology, and materials science, as well as in industrial applications such as semiconductor characterization. In practice, obtaining high-quality ptychographic images requires simultaneous optimization of numerous experimental and algorithmic parameters. Traditionally, parameter selection often relies on trial and error, leading to low-throughput workflows and potential human bias. In this work, we develop the ‘Ptychographic Experiment and Analysis Robot’ (PEAR), a framework that leverages large language models (LLMs) to automate data analysis in ptychography. To ensure high robustness and accuracy, PEAR employs multiple LLM agents for tasks including knowledge retrieval, code generation, parameter recommendation, and image reasoning. Our study demonstrates that PEAR’s multi-agent design significantly improves the workflow success rate, even with smaller open-weight models such as LLaMA 3.1 8B. PEAR also supports various automation levels and is designed to work with customized local knowledge bases, ensuring flexibility and adaptability across different research environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google