StyLEx: Explaining Style Using Human Lexical Annotations

要約

【タイトル】「StyLEx：人間の言語的注釈を用いたスタイルの説明」

【要約】
– 大規模な事前学習言語モデルは、さまざまなスタイル分類タスクで驚異的な結果を出している。ただし、予測を行う際に一部のドメイン特有の語彙を学習してしまうことがある。
– 人間の解釈は、スタイリッシュなトークンを重要な特徴として強調しているが、モデルの説明はしばしばそれらと一致しない。
– この問題に対処するために、スタイリッシュな機能の人間注釈付きの説明から学習し、タスクを実行し、これらの機能をモデルの説明として予測するStyLExを紹介する。
– 実験により、StyLExは、ドメイン内外のデータセットの文レベルのスタイル予測のパフォーマンスを犠牲にすることなく、人間のスタイル的な言語的説明を提供することができることが明らかになった。
– StyLExからの説明は、十分性、信憑性の説明メトリックで有意な改善を示し、人間の注釈で評価するとより理解しやすく、幅広く使用されている重要度ベースの説明ベースラインと比較して改善されている。

要約(オリジナル)

Large pre-trained language models have achieved impressive results on various style classification tasks, but they often learn spurious domain-specific words to make predictions (Hayati et al., 2021). While human explanation highlights stylistic tokens as important features for this task, we observe that model explanations often do not align with them. To tackle this issue, we introduce StyLEx, a model that learns from human-annotated explanations of stylistic features and jointly learns to perform the task and predict these features as model explanations. Our experiments show that StyLEx can provide human-like stylistic lexical explanations without sacrificing the performance of sentence-level style prediction on both in-domain and out-of-domain datasets. Explanations from StyLEx show significant improvements in explanation metrics (sufficiency, plausibility) and when evaluated with human annotations. They are also more understandable by human judges compared to the widely-used saliency-based explanation baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI