Measuring Spurious Correlation in Classification: ‘Clever Hans’ in Translationese

要約

最近の研究では、高性能ニューラル翻訳分類器における「賢いハンス」動作の証拠が示されており、BERT ベースの分類器は、本物の翻訳信号ではなく、データとターゲット分類ラベルの間の偽の相関関係、特にトピック情報を利用しています。
翻訳シグナルは（特にプロの翻訳の場合）微妙であり、ジャンル、スタイル、著者、特にトピックなど、データ内の他の多くのシグナルと競合します。
これにより、特に微妙なターゲット信号や困難な (低リソース) データ設定において、分類器のパフォーマンスのどの程度がデータと分類器が実際に対象とする信号の偽相関によるものなのかという一般的な疑問が生じます。
私たちはトピックベースの擬似相関に焦点を当て、次の 2 つの方向から問題にアプローチします: (i) 擬似トピック情報とデータ内でのその分布についての知識がない場合、(ii) 擬似トピック相関の性質について何らかの兆候がある場合
。
(i) については、データ内の偽のトピック情報の指標として、教師なしトピックとターゲット分類ラベルとの位置合わせを捕捉する第一原理からの尺度を開発します。
我々の尺度がクラスタリングにおける純度と同じであることを示し、分類のための「トピックフロア」(「ノイズフロア」のような)を提案します。
(ii) については、分類における既知のスプリアス トピック キャリアのマスキングを調査します。
(i) と (ii) は両方とも、擬似相関の定量化と (ii) 軽減に貢献します。

要約(オリジナル)

Recent work has shown evidence of ‘Clever Hans’ behavior in high-performance neural translationese classifiers, where BERT-based classifiers capitalize on spurious correlations, in particular topic information, between data and target classification labels, rather than genuine translationese signals. Translationese signals are subtle (especially for professional translation) and compete with many other signals in the data such as genre, style, author, and, in particular, topic. This raises the general question of how much of the performance of a classifier is really due to spurious correlations in the data versus the signals actually targeted for by the classifier, especially for subtle target signals and in challenging (low resource) data settings. We focus on topic-based spurious correlation and approach the question from two directions: (i) where we have no knowledge about spurious topic information and its distribution in the data, (ii) where we have some indication about the nature of spurious topic correlations. For (i) we develop a measure from first principles capturing alignment of unsupervised topics with target classification labels as an indication of spurious topic information in the data. We show that our measure is the same as purity in clustering and propose a ‘topic floor’ (as in a ‘noise floor’) for classification. For (ii) we investigate masking of known spurious topic carriers in classification. Both (i) and (ii) contribute to quantifying and (ii) to mitigating spurious correlations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google