Discovering influential text using convolutional neural networks

要約

人間の評価に対するテキストの影響を推定するための実験的手法は、社会科学で広く使用されています。
ただし、実験環境における研究者は、通常、事前に指定された少数のテキスト処理をテストすることに限定されています。
結果に因果的に影響を与える特徴を非構造化テキストからマイニングする取り組みは近年進行中ですが、これらのモデルは主にテキストのトピックや特定の単語に焦点を当てており、それが必ずしも効果のメカニズムであるとは限りません。
我々は、これらの取り組みを NLP 解釈可能技術と結び付け、畳み込みニューラル ネットワークを使用して、テキストに対する人間の反応を予測する、類似したテキスト フレーズのクラスターを柔軟に発見する方法を紹介します。
この方法を実験設定で使用すると、特定の仮定の下でテキストの処理とその効果を特定できます。
この方法を 2 つのデータセットに適用します。
1 つ目では、結果の原因となることがわかっているフレーズを検出するモデルの能力を直接検証できます。
2 つ目は、さまざまなテキスト構造を持つテキスト処理を柔軟に発見できる能力を示しています。
どちらの場合も、モデルはベンチマーク手法と比較してより多様なテキスト処理を学習し、これらのテキストの特徴は、結果を予測するベンチマーク手法の能力を定量的に満たすか、それを上回ります。

要約(オリジナル)

Experimental methods for estimating the impacts of text on human evaluation have been widely used in the social sciences. However, researchers in experimental settings are usually limited to testing a small number of pre-specified text treatments. While efforts to mine unstructured texts for features that causally affect outcomes have been ongoing in recent years, these models have primarily focused on the topics or specific words of text, which may not always be the mechanism of the effect. We connect these efforts with NLP interpretability techniques and present a method for flexibly discovering clusters of similar text phrases that are predictive of human reactions to texts using convolutional neural networks. When used in an experimental setting, this method can identify text treatments and their effects under certain assumptions. We apply the method to two datasets. The first enables direct validation of the model’s ability to detect phrases known to cause the outcome. The second demonstrates its ability to flexibly discover text treatments with varying textual structures. In both cases, the model learns a greater variety of text treatments compared to benchmark methods, and these text features quantitatively meet or exceed the ability of benchmark methods to predict the outcome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google