RED-CT: A Systems Design Methodology for Using LLM-labeled Data to Train and Deploy Edge Classifiers for Computational Social Science

要約

大規模言語モデル (LLM) により、非構造化自然言語データを迅速に分析および分類する能力が強化されました。
しかし、コスト、ネットワークの制限、セキュリティの制約に関する懸念により、それらを作業プロセスに統合する際に課題が生じています。
この研究では、下流の教師あり学習タスクの不完全なデータ アノテーターとして LLM を採用するシステム設計アプローチを採用し、分類パフォーマンスの向上を目的とした新しいシステム介入手段を導入します。
私たちの方法論は、8 つのテストのうち 7 つで LLM で生成されたラベルを上回っており、業界の多くのユースケースに存在する特殊な教師あり学習モデルの設計と展開に LLM を組み込むための効果的な戦略を示しています。

要約(オリジナル)

Large language models (LLMs) have enhanced our ability to rapidly analyze and classify unstructured natural language data. However, concerns regarding cost, network limitations, and security constraints have posed challenges for their integration into work processes. In this study, we adopt a systems design approach to employing LLMs as imperfect data annotators for downstream supervised learning tasks, introducing novel system intervention measures aimed at improving classification performance. Our methodology outperforms LLM-generated labels in seven of eight tests, demonstrating an effective strategy for incorporating LLMs into the design and deployment of specialized, supervised learning models present in many industry use cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google