MultiParaDetox: Extending Text Detoxification with Parallel Data to New Languages

要約

テキストの無毒化は、テキストを有害な表面形式から言い換えるテキスト スタイル転送 (TST) タスクです。
ニュートラルな範囲で失礼な言葉を特徴としています。
最近、テキスト無毒化手法は、大規模言語モデル (LLM) の無毒化 (Leong et al., 2023; He et al., 2024; Tang et al., 2023) やソーシャルネットワークにおける有害なスピーチとの戦いなど、さまざまなタスクに応用できることがわかりました。
(Deng et al., 2023; Mun et al., 2023; Agarwal et al., 2023)。
これらのアプリケーションはすべて、現代のデジタル世界で安全な通信を確保するために非常に重要です。
ただし、並列テキスト解毒コーパス収集のための以前のアプローチ、ParaDetox (Logacheva et al.、2022) および APPADIA (Atwell et al.、2022) は、単一言語設定でのみ検討されました。
この作業では、ParaDetox パイプラインを複数の言語に拡張し、潜在的にあらゆる言語に対して並列解毒コーパス収集を自動化する MultiParaDetox を提供することを目指しています。
次に、教師なしベースラインから LLM、提示された並列コーパスの微調整モデルに至るまで、さまざまなテキスト解毒モデルを実験し、あらゆる言語で最先端のテキスト解毒モデルを取得するための並列コーパスの存在の大きな利点を示します。
言語。

要約(オリジナル)

Text detoxification is a textual style transfer (TST) task where a text is paraphrased from a toxic surface form, e.g. featuring rude words, to the neutral register. Recently, text detoxification methods found their applications in various task such as detoxification of Large Language Models (LLMs) (Leong et al., 2023; He et al., 2024; Tang et al., 2023) and toxic speech combating in social networks (Deng et al., 2023; Mun et al., 2023; Agarwal et al., 2023). All these applications are extremely important to ensure safe communication in modern digital worlds. However, the previous approaches for parallel text detoxification corpora collection — ParaDetox (Logacheva et al., 2022) and APPADIA (Atwell et al., 2022) — were explored only in monolingual setup. In this work, we aim to extend ParaDetox pipeline to multiple languages presenting MultiParaDetox to automate parallel detoxification corpus collection for potentially any language. Then, we experiment with different text detoxification models — from unsupervised baselines to LLMs and fine-tuned models on the presented parallel corpora — showing the great benefit of parallel corpus presence to obtain state-of-the-art text detoxification models for any language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google