Shuffle & Divide: Contrastive Learning for Long Text

要約

タイトル：Shuffle & Divide：長文書のための対照的学習

要約：

– 対照的学習に基づく長文書のための自己教育学習法を提案する。
– 我々の方法の鍵はShuffle and Divide（SaD）で、これはBERTベースのドキュメント埋め込みを対照的更新するために必要なプリテクストタスクを設定する簡単なテキスト拡張アルゴリズムである。
– SaDは、ドキュメントを2つのサブドキュメントに分割し、ドキュメント全体でランダムにシャッフルされた単語を含む。サブドキュメントは肯定例と見なされ、コーパスの他のすべてのドキュメントは否定例となる。
– SaD後、対照的更新とクラスタリングフェーズを収束するまで繰り返す。人間の労力がAIで最も高価なリソースであるため、我々の方法は人間の努力を軽減するのに役立つ。
– 20 Newsgroups、Reuters-21578、BBC、BBCSportのデータセットで非監督テキスト分類を実施し、実証的に評価した。
– 特に、20 Newsgroupsで現在の最新技術であるSS-SB-MTよりも20.94％の精度を向上させている。
– Reuters-21578で最先端のパフォーマンスを発揮し、BBCとBBCSportのデータセットで非監督分類に対して95％以上の高い精度を発揮する。

要約(オリジナル)

We propose a self-supervised learning method for long text documents based on contrastive learning. A key to our method is Shuffle and Divide (SaD), a simple text augmentation algorithm that sets up a pretext task required for contrastive updates to BERT-based document embedding. SaD splits a document into two sub-documents containing randomly shuffled words in the entire documents. The sub-documents are considered positive examples, leaving all other documents in the corpus as negatives. After SaD, we repeat the contrastive update and clustering phases until convergence. It is naturally a time-consuming, cumbersome task to label text documents, and our method can help alleviate human efforts, which are most expensive resources in AI. We have empirically evaluated our method by performing unsupervised text classification on the 20 Newsgroups, Reuters-21578, BBC, and BBCSport datasets. In particular, our method pushes the current state-of-the-art, SS-SB-MT, on 20 Newsgroups by 20.94% in accuracy. We also achieve the state-of-the-art performance on Reuters-21578 and exceptionally-high accuracy performances (over 95%) for unsupervised classification on the BBC and BBCSport datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI