Using Large Language Models to Generate, Validate, and Apply User Intent Taxonomies

要約

ログ データにより、ユーザーが Web 検索サービスとどのようにやり取りするか、何を望んでいるのか、どの程度満足しているのかなどに関する貴重な情報が明らかになります。
ただし、ログ データ内のユーザーの意図を分析することは、特に AI 主導のチャットなどの新しい形式の Web 検索の場合、簡単ではありません。
ログ データからユーザーの意図を理解するには、ユーザーの多様性とダイナミクスを捉える意味のあるカテゴリでユーザーにラベルを付ける方法が必要です。
既存の方法は手動または機械学習によるラベル付けに依存していますが、大規模で動的なデータセットに対しては高価であるか柔軟性に欠けます。
私たちは、ユーザーの意図に応じた豊富で関連性の高い概念、説明、例を生成できる大規模言語モデル (LLM) を使用した新しいソリューションを提案します。
ただし、LLM を使用してユーザー意図の分類を生成し、それをログ分析に適用すると、次の 2 つの主な理由により問題が発生する可能性があります。(1) そのような分類は外部で検証されていません。
(2) 望ましくないフィードバック ループが存在する可能性があります。
これに対処するために、私たちは人間の専門家と評価者を協力させて、LLM によって生成された分類法の品質を検証する新しい方法論を提案します。
また、人間参加型の LLM を使用して、ログ データのユーザー意図を分析するためのラベルを生成、調整、適用するエンドツーエンドのパイプラインも紹介します。
Microsoft Bing 商用検索エンジンの検索ログとチャット ログからユーザーの意図に関する新しい洞察を明らかにすることで、その有効性を実証します。
提案された研究の新規性は、強力な検証を備えた目的主導型のユーザー意図分類を生成する方法に由来しています。
この方法は、意図に焦点を当てた研究から方法論的および実践的なボトルネックを取り除くのに役立つだけでなく、最小限の人的労力でスケーラブルで適応可能な方法で他の種類の分類を生成、検証、および適用するための新しいフレームワークも提供します。

要約(オリジナル)

Log data can reveal valuable information about how users interact with Web search services, what they want, and how satisfied they are. However, analyzing user intents in log data is not easy, especially for emerging forms of Web search such as AI-driven chat. To understand user intents from log data, we need a way to label them with meaningful categories that capture their diversity and dynamics. Existing methods rely on manual or machine-learned labeling, which are either expensive or inflexible for large and dynamic datasets. We propose a novel solution using large language models (LLMs), which can generate rich and relevant concepts, descriptions, and examples for user intents. However, using LLMs to generate a user intent taxonomy and apply it for log analysis can be problematic for two main reasons: (1) such a taxonomy is not externally validated; and (2) there may be an undesirable feedback loop. To address this, we propose a new methodology with human experts and assessors to verify the quality of the LLM-generated taxonomy. We also present an end-to-end pipeline that uses an LLM with human-in-the-loop to produce, refine, and apply labels for user intent analysis in log data. We demonstrate its effectiveness by uncovering new insights into user intents from search and chat logs from the Microsoft Bing commercial search engine. The proposed work’s novelty stems from the method for generating purpose-driven user intent taxonomies with strong validation. This method not only helps remove methodological and practical bottlenecks from intent-focused research, but also provides a new framework for generating, validating, and applying other kinds of taxonomies in a scalable and adaptable way with minimal human effort.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google