Like a Good Nearest Neighbor: Practical Content Moderation with Sentence Transformers

要約

最新のテキスト分類システムは優れた機能を備えていますが、プロンプトと 10 億個のパラメーターを持つ言語モデルに依存しているため、確実に展開して使用することはできません。
SetFit (Tunstall et al., 2022) は、対照的な学習パラダイムの下でセンテンス トランスフォーマーを微調整し、より扱いにくいシステムと同様の結果を達成する、最近の実用的なアプローチです。
テキスト分類は、すべてのソーシャル メディア プラットフォームを悩ませている有害なコンテンツを検出する際のドメイン ドリフトの問題に対処するために重要です。
ここでは、Like a Good Nearest Neighbor (LaGoNN) を提案します。これは、追加のパラメーターやハイパーパラメーターを必要としない SetFit への安価な変更ですが、トレーニング データ内のラベルやテキストなどの最近傍に関する情報で入力を変更し、斬新なものにします。
データは、モデルが最適化されたインスタンスと同様に表示されます。
LaGoNN は、有害なコンテンツを検出するタスクに効果的であり、一般的に SetFit と比較してパフォーマンスが向上します。
私たちのシステムの価値を実証するために、4 つのラベル分布の下でコンテンツ モデレートのコンテキストでテキスト分類システムの徹底的な調査を行います。

要約(オリジナル)

Modern text classification systems have impressive capabilities but are infeasible to deploy and use reliably due to their dependence on prompting and billion-parameter language models. SetFit (Tunstall et al., 2022) is a recent, practical approach that fine-tunes a Sentence Transformer under a contrastive learning paradigm and achieves similar results to more unwieldy systems. Text classification is important for addressing the problem of domain drift in detecting harmful content, which plagues all social media platforms. Here, we propose Like a Good Nearest Neighbor (LaGoNN), an inexpensive modification to SetFit that requires no additional parameters or hyperparameters but modifies input with information about its nearest neighbor, for example, the label and text, in the training data, making novel data appear similar to an instance on which the model was optimized. LaGoNN is effective at the task of detecting harmful content and generally improves performance compared to SetFit. To demonstrate the value of our system, we conduct a thorough study of text classification systems in the context of content moderation under four label distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google