Concept Induction: Analyzing Unstructured Text with High-Level Concepts Using LLooM

要約

データ アナリストは長い間、非構造化テキスト データを意味のある概念に変換することを目指してきました。
一般的ではありますが、トピックのモデリングとクラスタリングは下位レベルのキーワードに焦点を当てており、多大な解釈作業が必要になります。
私たちは、非構造化テキストから明示的な包含基準によって定義された高レベルの概念を代わりに生成する計算プロセスである概念誘導を導入します。
最先端の BERTopic モデルが「女性、権力、女性」を出力する有害なオンライン コメントのデータセットの場合、概念帰納により「伝統的な性役割の批判」や「女性の懸念の払拭」などの高レベルの概念が生成されます。
。」
私たちは、大規模な言語モデルを活用してサンプリングされたテキストを繰り返し合成し、一般性を高める人間が解釈可能な概念を提案する概念誘導アルゴリズムである LLooM を紹介します。
次に、混合イニシアチブのテキスト分析ツールで LLooM をインスタンス化し、分析者がトピックの解釈から理論主導の分析に注意を移せるようにします。
技術評価と、文献レビューからコンテンツモデレーションに至る 4 つの分析シナリオを通じて、LLooM のコンセプトが品質とデータ範囲の点でトピック モデルの従来技術を改善していることがわかりました。
専門家のケーススタディでは、LLooM は、たとえば、政治的ソーシャル メディア データセットにおける党派外の立場に対する攻撃というこれまで気づかれていなかった概念を提案することにより、研究者が使い慣れたデータセットからも新しい洞察を発見できるように支援しました。

要約(オリジナル)

Data analysts have long sought to turn unstructured text data into meaningful concepts. Though common, topic modeling and clustering focus on lower-level keywords and require significant interpretative work. We introduce concept induction, a computational process that instead produces high-level concepts, defined by explicit inclusion criteria, from unstructured text. For a dataset of toxic online comments, where a state-of-the-art BERTopic model outputs ‘women, power, female,’ concept induction produces high-level concepts such as ‘Criticism of traditional gender roles’ and ‘Dismissal of women’s concerns.’ We present LLooM, a concept induction algorithm that leverages large language models to iteratively synthesize sampled text and propose human-interpretable concepts of increasing generality. We then instantiate LLooM in a mixed-initiative text analysis tool, enabling analysts to shift their attention from interpreting topics to engaging in theory-driven analysis. Through technical evaluations and four analysis scenarios ranging from literature review to content moderation, we find that LLooM’s concepts improve upon the prior art of topic models in terms of quality and data coverage. In expert case studies, LLooM helped researchers to uncover new insights even from familiar datasets, for example by suggesting a previously unnoticed concept of attacks on out-party stances in a political social media dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google