MetRoBERTa: Leveraging Traditional Customer Relationship Management Data to Develop a Transit-Topic-Aware Language Model

要約

交通機関が自社のサービスや取り組みの有効性をより正確に評価するには、乗客数調査、顧客関係管理 (CRM) チャネル、そして最近ではソーシャル メディアを通じて提供される交通機関の利用者からのフィードバックが鍵となります。
これらの計測器で共有されるフィードバックを通じてライダーの経験を総合的に理解することは、多くの場合困難ですが、これは主にテキスト フィードバックの無制限で構造化されていない性質のためです。
このペーパーでは、従来の交通機関 CRM フィードバックを活用して、自由形式のテキスト フィードバックを関連する交通機関固有のトピックに分類できる、交通機関のトピックを認識した大規模言語モデル (LLM) を開発および展開することを提案します。
まず、半教師あり学習を利用して、ワシントン首都圏交通局 (WMATA) に提供された 6 年間の顧客フィードバックのコーパスから検出された 11 の広範な交通トピックのトレーニング データセットを設計します。
次に、このデータセットを使用して、RoBERTa アーキテクチャに基づいた言語モデルをトレーニングし、徹底的に評価します。
私たちの LLM、MetRoBERTa を、キーワードベースおよび語彙表現を利用した古典的な機械学習アプローチと比較します。
私たちのモデルは、すべての評価指標にわたってこれらの方法を上回っており、平均トピック分類精度 90% を実現しています。
最後に、追加のテキスト処理ツールと並行して言語モデルを適用して、Twitter などのオープンエンドのテキスト フィードバック ソースに構造を追加する方法を示す、この研究の価値提案を提供します。
私たちが提示するフレームワークと結果は、交通機関利用者のフィードバックを大規模に取り込み、視覚化し、報告するための自動化された一般化可能なアプローチへの道を提供し、代理店が顧客エクスペリエンスをより深く理解し、改善できるようにします。

要約(オリジナル)

Transit riders’ feedback provided in ridership surveys, customer relationship management (CRM) channels, and in more recent times, through social media is key for transit agencies to better gauge the efficacy of their services and initiatives. Getting a holistic understanding of riders’ experience through the feedback shared in those instruments is often challenging, mostly due to the open-ended, unstructured nature of text feedback. In this paper, we propose leveraging traditional transit CRM feedback to develop and deploy a transit-topic-aware large language model (LLM) capable of classifying open-ended text feedback to relevant transit-specific topics. First, we utilize semi-supervised learning to engineer a training dataset of 11 broad transit topics detected in a corpus of 6 years of customer feedback provided to the Washington Metropolitan Area Transit Authority (WMATA). We then use this dataset to train and thoroughly evaluate a language model based on the RoBERTa architecture. We compare our LLM, MetRoBERTa, to classical machine learning approaches utilizing keyword-based and lexicon representations. Our model outperforms those methods across all evaluation metrics, providing an average topic classification accuracy of 90%. Finally, we provide a value proposition of this work demonstrating how the language model, alongside additional text processing tools, can be applied to add structure to open-ended text sources of feedback like Twitter. The framework and results we present provide a pathway for an automated, generalizable approach for ingesting, visualizing, and reporting transit riders’ feedback at scale, enabling agencies to better understand and improve customer experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google