WildVis: Open Source Visualizer for Million-Scale Chat Logs in the Wild

要約

現実世界の会話データの利用可能性が高まっているため、研究者はユーザーとチャットボットの対話を研究する刺激的な機会を得ることができます。
ただし、このデータは膨大な量であるため、個々の会話を手動で調査することは非現実的です。
この課題を克服するために、高速かつ多用途かつ大規模な会話分析を可能にする対話型ツールである WildVis を導入します。
WildVis は、基準のリストに基づいてテキストおよび埋め込みスペースの検索および視覚化機能を提供します。
百万規模のデータセットを管理するために、検索インデックスの構築、事前計算と圧縮の埋め込み、数秒以内の応答性の高いユーザー インタラクションを保証するキャッシュなどの最適化を実装しました。
私たちは、チャットボットの誤用研究の促進、データセット間のトピック分布の視覚化と比較、ユーザー固有の会話パターンの特徴付けという 3 つのケース スタディを通じて WildVis の有用性を実証します。
WildVis はオープンソースであり、拡張可能なように設計されており、追加のデータセットやカスタマイズされた検索および視覚化機能をサポートしています。

要約(オリジナル)

The increasing availability of real-world conversation data offers exciting opportunities for researchers to study user-chatbot interactions. However, the sheer volume of this data makes manually examining individual conversations impractical. To overcome this challenge, we introduce WildVis, an interactive tool that enables fast, versatile, and large-scale conversation analysis. WildVis provides search and visualization capabilities in the text and embedding spaces based on a list of criteria. To manage million-scale datasets, we implemented optimizations including search index construction, embedding precomputation and compression, and caching to ensure responsive user interactions within seconds. We demonstrate WildVis’s utility through three case studies: facilitating chatbot misuse research, visualizing and comparing topic distributions across datasets, and characterizing user-specific conversation patterns. WildVis is open-source and designed to be extendable, supporting additional datasets and customized search and visualization functionalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google