MechGPT, a language-based strategy for mechanics and materials modeling that connects knowledge across scales, disciplines and modalities

要約

何世紀にもわたって、研究者は異なる知識領域を結び付ける方法を模索してきました。
初期の学者 (ガリレオ、ダ ヴィンチなど) はさまざまな分野の専門家でしたが、後に専門化が定着しました。
人工知能の出現により、私たちは分野 (例: 力学と生物学) または異なる領域 (例: 故障力学と芸術) を越えた関係を探索できるようになりました。
これを達成するために、ここではマルチスケール材料破壊に関する知識のサブセットとして、微調整された大規模言語モデル (LLM) を使用します。
このアプローチには、汎用 LLM を使用して生のソースから質問と回答のペアを抽出し、その後 LLM を微調整することが含まれます。
結果として得られる MechGPT LLM 基礎モデルは、知識の検索、さまざまな言語タスク、仮説の生成、および異分野にわたる知識の接続の能力を調査するための一連の計算実験で使用されます。
モデルにはトレーニングからの知識を呼び出すある程度の機能がありますが、LLM はオントロジカル ナレッジ グラフを通じて構造的な洞察を抽出するのに特に有用であることがわかりました。
これらの解釈可能なグラフ構造は、説明的な洞察、新しい研究課題のフレームワーク、検索拡張生成にも使用できる知識の視覚的表現を提供します。
MechGPT の 3 つのバージョンについて説明します。これらは、130 億から 700 億のパラメーターの異なるサイズを特徴とし、10,000 トークンを超えるコンテキスト長に達します。
これにより、高度な検索拡張戦略、複数の LLM が協力的および/または敵対的に対話するエージェントベースのモデリング、文献や Web 検索からの新しいデータの組み込み、およびマルチモダリティに十分な能力が提供されます。

要約(オリジナル)

For centuries, researchers have sought out ways to connect disparate areas of knowledge. While early scholars (Galileo, da Vinci, etc.) were experts across fields, specialization has taken hold later. With the advent of Artificial Intelligence, we can now explore relationships across areas (e.g., mechanics-biology) or disparate domains (e.g., failure mechanics-art). To achieve this, we use a fine-tuned Large Language Model (LLM), here for a subset of knowledge in multiscale materials failure. The approach includes the use of a general-purpose LLM to distill question-answer pairs from raw sources followed by LLM fine-tuning. The resulting MechGPT LLM foundation model is used in a series of computational experiments to explore its capacity for knowledge retrieval, various language tasks, hypothesis generation, and connecting knowledge across disparate areas. While the model has some ability to recall knowledge from training, we find that LLMs are particularly useful to extract structural insights through Ontological Knowledge Graphs. These interpretable graph structures provide explanatory insights, frameworks for new research questions, and visual representations of knowledge that also can be used in retrieval-augmented generation. Three versions of MechGPT are discussed, featuring different sizes from 13 billion to 70 billion parameters, and reaching context lengths of more than 10,000 tokens. This provides ample capacity for sophisticated retrieval augmented strategies, as well as agent-based modeling where multiple LLMs interact collaboratively and/or adversarially, the incorporation of new data from the literature or web searches, as well as multimodality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google