Can Large Language Models Learn the Physics of Metamaterials? An Empirical Study with ChatGPT

要約

ChatGPT、Gemini、LlaMa、Claude などの大規模言語モデル (LLM) は、インターネットから解析された大量のテキストでトレーニングされ、人間と区別できないことが多い方法で複雑なプロンプトに応答する驚くべき能力を示しています。
メタサーフェスのジオメトリのみを指定するテキスト プロンプトが与えられた場合、さまざまな周波数にわたる電磁スペクトルを予測できる、最大 40,000 のデータに基づいて微調整された LLM を紹介します。
結果は、フィードフォワード ニューラル ネットワーク、ランダム フォレスト、線形回帰、K 最近傍 (KNN) などの従来の機械学習アプローチと比較されます。
注目すべきことに、微調整された LLM (FT-LLM) は、ディープ ニューラル ネットワークを含むすべての機械学習アプローチと比較して、調査されたすべてのデータセット サイズにわたってより低い誤差を達成します。
また、目的のスペクトルを達成するために必要なジオメトリを提供することで、逆問題を解決する LLM の能力も実証します。
LLM は、膨大な量のデータを処理する能力、データ内の隠れたパターンを発見する能力、高次元空間で動作する能力など、研究に利益をもたらす可能性のある人間よりも優れた点をいくつか持っています。
私たちは、ある分野に特有の大規模なデータセットで LLM を微調整することで、その分野の微妙な違いを把握できるようになり、研究や分析のための貴重なツールになることを提案します。

要約(オリジナル)

Large language models (LLMs) such as ChatGPT, Gemini, LlaMa, and Claude are trained on massive quantities of text parsed from the internet and have shown a remarkable ability to respond to complex prompts in a manner often indistinguishable from humans. We present a LLM fine-tuned on up to 40,000 data that can predict electromagnetic spectra over a range of frequencies given a text prompt that only specifies the metasurface geometry. Results are compared to conventional machine learning approaches including feed-forward neural networks, random forest, linear regression, and K-nearest neighbor (KNN). Remarkably, the fine-tuned LLM (FT-LLM) achieves a lower error across all dataset sizes explored compared to all machine learning approaches including a deep neural network. We also demonstrate the LLM’s ability to solve inverse problems by providing the geometry necessary to achieve a desired spectrum. LLMs possess some advantages over humans that may give them benefits for research, including the ability to process enormous amounts of data, find hidden patterns in data, and operate in higher-dimensional spaces. We propose that fine-tuning LLMs on large datasets specific to a field allows them to grasp the nuances of that domain, making them valuable tools for research and analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google