Knowledge Sharing in Manufacturing using Large Language Models: User Evaluation and Model Benchmarking

要約

自然言語処理の最近の進歩により、工場での知識共有をサポートするためのよりインテリジェントな方法が可能になりました。
製造業では、生産ラインの運用にますます知識集約型が増えており、新しいオペレーターのトレーニングとサポートを行う工場の能力に負担がかかっています。
この文書では、工場の文書に含まれる広範な知識と専門オペレーターが共有する知識から情報を取得するように設計された大規模言語モデル (LLM) ベースのシステムを紹介します。
このシステムは、オペレーターからの質問に効率的に回答し、新しい知識の共有を促進することを目的としています。
私たちは、その潜在的な影響と導入を評価するために工場でユーザー調査を実施しました。その結果、より迅速な情報検索とより効率的な問題解決が可能になるという、いくつかの認識された利点が明らかになりました。
しかし、この研究では、そのような選択肢が利用可能な場合には、人間の専門家から学ぶことを好むことも強調しました。
さらに、このシステムに関して、いくつかの商用およびオープンソースの LLM のベンチマークを実行しました。
現在の最先端モデルである GPT-4 は、オープンソース モデルを僅差で追いながらも、常に同等のモデルを上回っており、データ プライバシーとカスタマイズの利点を考慮すると魅力的な選択肢となっています。
要約すると、この作業は、ナレッジ管理に LLM ツールの使用を検討している工場に予備的な洞察とシステム設計を提供します。

要約(オリジナル)

Recent advances in natural language processing enable more intelligent ways to support knowledge sharing in factories. In manufacturing, operating production lines has become increasingly knowledge-intensive, putting strain on a factory’s capacity to train and support new operators. This paper introduces a Large Language Model (LLM)-based system designed to retrieve information from the extensive knowledge contained in factory documentation and knowledge shared by expert operators. The system aims to efficiently answer queries from operators and facilitate the sharing of new knowledge. We conducted a user study at a factory to assess its potential impact and adoption, eliciting several perceived benefits, namely, enabling quicker information retrieval and more efficient resolution of issues. However, the study also highlighted a preference for learning from a human expert when such an option is available. Furthermore, we benchmarked several commercial and open-sourced LLMs for this system. The current state-of-the-art model, GPT-4, consistently outperformed its counterparts, with open-source models trailing closely, presenting an attractive option given their data privacy and customization benefits. In summary, this work offers preliminary insights and a system design for factories considering using LLM tools for knowledge management.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google