Text2Model: Generating dynamic chemical reactor models using large language models (LLMs)

要約

大規模な言語モデルが自然言語を介して会話する際に顕著な能力を示しているため、LLMがドメイン固有のタスクを使用して研究および産業の化学エンジニアを潜在的に支援する方法について疑問が生じます。
ユーザー入力としてテキストの説明からモデリカコード形式で動的化学反応器モデルを生成します。
さまざまな原子炉シナリオの合成的に生成されたモデリカコードの指示を微調整します。
微調整されたモデルのパフォーマンスを、ベースラインLlama 3.1 8b指示モデルとGPT4Oと比較します。
生成された動的モデルの構文およびセマンティック精度に関するモデルの予測を手動で評価します。
モデリカモデルのセマンティックと構文の精度の両方に関して、微調整されたモデルによってかなりの改善が達成されることがわかります。
ただし、微調整されたモデルには、GPT4Oと比較して、目に見えないシナリオに一般化する満足のいく能力がありません。

要約(オリジナル)

As large language models have shown remarkable capabilities in conversing via natural language, the question arises as to how LLMs could potentially assist chemical engineers in research and industry with domain-specific tasks. We generate dynamic chemical reactor models in Modelica code format from textual descriptions as user input. We fine-tune Llama 3.1 8B Instruct on synthetically generated Modelica code for different reactor scenarios. We compare the performance of our fine-tuned model to the baseline Llama 3.1 8B Instruct model and GPT4o. We manually assess the models’ predictions regarding the syntactic and semantic accuracy of the generated dynamic models. We find that considerable improvements are achieved by the fine-tuned model with respect to both the semantic and the syntactic accuracy of the Modelica models. However, the fine-tuned model lacks a satisfactory ability to generalize to unseen scenarios compared to GPT4o.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google