Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scaling of Texts with Large Language Models

要約

既存のテキスト スケーリング方法では、多くの場合、大規模なコーパスが必要になったり、短いテキストに苦労したり、ラベル付きデータが必要になったりします。
私たちは、生成大規模言語モデル (LLM) のパターン認識機能を活用したテキスト スケーリング方法を開発します。
具体的には、概念ガイド型思考連鎖 (CGCoT) を提案します。CGCoT は、テキスト内のアイデアを要約し対象者を特定するように設計されたプロンプトを使用して、概念固有の内訳を生成します。多くの点で人間のコーダーのコンテンツ分析のガイダンスと似ています。
CGCoT は、ペアごとのテキスト比較を推論問題からパターン認識問題に効果的に移行します。
次に、LLM を使用してコンセプト固有の内訳をペアごとに比較します。
これらのペアごとの比較の結果を使用して、Bradley-Terry モデルを使用してスケールを推定します。
私たちはこのアプローチを使用して、Twitter での感情的な発言を拡大します。
私たちの対策は、Wordfish のような代替アプローチよりも人間の判断とより強く相関しています。
CGCoT プロンプトを開発するための少数のパイロット データ セット以外に、私たちの測定では追加のラベル付きデータは必要なく、人間がラベルを付けた数千のツイートを微調整した RoBERTa-Large モデルに匹敵するバイナリ予測を生成します。
実質的な知識と LLM を組み合わせることで、抽象的な概念の最先端の尺度をどのように作成できるかを示します。

要約(オリジナル)

Existing text scaling methods often require a large corpus, struggle with short texts, or require labeled data. We develop a text scaling method that leverages the pattern recognition capabilities of generative large language models (LLMs). Specifically, we propose concept-guided chain-of-thought (CGCoT), which uses prompts designed to summarize ideas and identify target parties in texts to generate concept-specific breakdowns, in many ways similar to guidance for human coder content analysis. CGCoT effectively shifts pairwise text comparisons from a reasoning problem to a pattern recognition problem. We then pairwise compare concept-specific breakdowns using an LLM. We use the results of these pairwise comparisons to estimate a scale using the Bradley-Terry model. We use this approach to scale affective speech on Twitter. Our measures correlate more strongly with human judgments than alternative approaches like Wordfish. Besides a small set of pilot data to develop the CGCoT prompts, our measures require no additional labeled data and produce binary predictions comparable to a RoBERTa-Large model fine-tuned on thousands of human-labeled tweets. We demonstrate how combining substantive knowledge with LLMs can create state-of-the-art measures of abstract concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google