Automating Customer Needs Analysis: A Comparative Study of Large Language Models in the Travel Industry

要約

自然言語加工（NLP）の急速に進化する景観では、大量のテキストデータから貴重な洞察を抽出するなど、多くのタスクの強力なツールとして大規模な言語モデル（LLM）が浮上しています。
この調査では、TripAdvisorおよびRedditの投稿から旅行顧客のニーズを抽出するためのLLMの比較分析を実施します。
GPT-4やGeminiなどのオープンソースや独自のモデルの両方を含む多様なモデルを活用すると、この専門ドメインの長所と短所を解明することを目指しています。
Bertscore、Rouge、BLEUなどのメトリックを含む評価プロセスを通じて、顧客のニーズを正確に識別および要約する際に、各モデルのパフォーマンスを評価します。
私たちの調査結果は、手頃な価格とカスタマイズの利点を提供しながら、より大きなクローズドモデルに匹敵するパフォーマンスを達成する際に、OpenSource LLM、特にMistral 7Bの有効性を強調しています。
さらに、顧客ニーズ分析タスクに最適なLLMを選択する際に、モデルサイズ、リソース要件、パフォーマンスメトリックなどの要因を考慮することの重要性を強調します。
全体として、この研究は、高度なNLPテクニックを活用して、旅行業界の顧客体験を強化し、運用効率を高めることを目指している企業にとって貴重な洞察を提供しています。

要約(オリジナル)

In the rapidly evolving landscape of Natural Language Processing (NLP), Large Language Models (LLMs) have emerged as powerful tools for many tasks, such as extracting valuable insights from vast amounts of textual data. In this study, we conduct a comparative analysis of LLMs for the extraction of travel customer needs from TripAdvisor and Reddit posts. Leveraging a diverse range of models, including both open-source and proprietary ones such as GPT-4 and Gemini, we aim to elucidate their strengths and weaknesses in this specialized domain. Through an evaluation process involving metrics such as BERTScore, ROUGE, and BLEU, we assess the performance of each model in accurately identifying and summarizing customer needs. Our findings highlight the efficacy of opensource LLMs, particularly Mistral 7B, in achieving comparable performance to larger closed models while offering affordability and customization benefits. Additionally, we underscore the importance of considering factors such as model size, resource requirements, and performance metrics when selecting the most suitable LLM for customer needs analysis tasks. Overall, this study contributes valuable insights for businesses seeking to leverage advanced NLP techniques to enhance customer experience and drive operational efficiency in the travel industry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google