Can Large Language Models (or Humans) Distill Text?

要約

私たちは、テキストを抽出するための大規模言語モデル (LLM) の可能性、つまり、望ましくない禁止された変数のテキストの痕跡を削除する可能性を調査します。
当社では、さまざまなアーキテクチャとトレーニング アプローチを備えたさまざまな LLM を採用し、他の関連信号を維持しながらターゲット変数に関する情報を識別して削除することでテキストを抽出します。
私たちの調査結果は、蒸留に対処する際の LLM の長所と限界を明らかにし、テキスト データを含む計算社会科学調査でこれらのモデルを活用する戦略への洞察を提供します。
特に、センチメントを除去する強力なテストでは、処理されたテキストとセンチメントの間の統計的関連性が、LLM 蒸留後の機械学習分類器で依然として明確に検出可能であることを示します。
さらに、ヒューマン・アノテーターも他の意味論的な内容を維持しながら感情を抽出するのに苦労していることがわかりました。
これは、一部のテキスト コンテキストでは概念変数間の分離可能性が限られている可能性があることを示唆しており、テキスト レベルの変換に依存する手法の限界を強調するとともに、人間のプログラマが操作するのが難しい場合、表現空間で統計的独立性を達成する蒸留手法の堅牢性について疑問も生じます。
生のテキストを取得します。

要約(オリジナル)

We investigate the potential of large language models (LLMs) to distill text: to remove the textual traces of an undesired forbidden variable. We employ a range of LLMs with varying architectures and training approaches to distill text by identifying and removing information about the target variable while preserving other relevant signals. Our findings shed light on the strengths and limitations of LLMs in addressing the distillation and provide insights into the strategies for leveraging these models in computational social science investigations involving text data. In particular, we show that in the strong test of removing sentiment, the statistical association between the processed text and sentiment is still clearly detectable to machine learning classifiers post-LLM-distillation. Furthermore, we find that human annotators also struggle to distill sentiment while preserving other semantic content. This suggests there may be limited separability between concept variables in some text contexts, highlighting limitations of methods relying on text-level transformations and also raising questions about the robustness of distillation methods that achieve statistical independence in representation space if this is difficult for human coders operating on raw text to attain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google