Knowledge Sharing in Manufacturing using Large Language Models: User Evaluation and Model Benchmarking

要約

知識を効率的に管理することは、組織の成功にとって非常に重要です。
製造業では、工場の運営にますます知識集約型が増えており、新しいオペレーターのトレーニングとサポートを行う工場の能力に負担がかかっています。
このペーパーでは、工場の文書に含まれる広範な知識を使用するように設計された大規模言語モデル (LLM) ベースのシステムを紹介します。
このシステムは、オペレーターからの質問に効率的に回答し、新しい知識の共有を促進することを目的としています。
その有効性を評価するため、工場出荷時の評価を実施しました。
この評価の結果は、システムの利点を実証しました。
つまり、より迅速な情報検索とより効率的な問題解決が可能になります。
しかし、この研究では、そのような選択肢が利用可能な場合には、人間の専門家から学ぶことを好むことも強調しました。
さらに、このシステムについて、いくつかのクローズドおよびオープンソースの LLM のベンチマークを実行しました。
GPT-4 は一貫して他のモデルを上回り、StableBeluga2 のようなオープンソース モデルが僅差で続いており、データ プライバシーとカスタマイズの利点を考慮すると魅力的な選択肢となっています。
全体として、この作業はナレッジ管理に LLM ツールの使用を検討している工場に予備的な洞察を提供します。

要約(オリジナル)

Managing knowledge efficiently is crucial for organizational success. In manufacturing, operating factories has become increasing knowledge-intensive putting strain on the factory’s capacity to train and support new operators. In this paper, we introduce a Large Language Model (LLM)-based system designed to use the extensive knowledge contained in factory documentation. The system aims to efficiently answer queries from operators and facilitate the sharing of new knowledge. To assess its effectiveness, we conducted an evaluation in a factory setting. The results of this evaluation demonstrated the system’s benefits; namely, in enabling quicker information retrieval and more efficient resolution of issues. However, the study also highlighted a preference for learning from a human expert when such an option is available. Furthermore, we benchmarked several closed and open-sourced LLMs for this system. GPT-4 consistently outperformed its counterparts, with open-source models like StableBeluga2 trailing closely, presenting an attractive option given its data privacy and customization benefits. Overall, this work offers preliminary insights for factories considering using LLM-tools for knowledge management.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google