Experimentation in Content Moderation using RWKV

要約

この論文では、ターゲットを絞った実験を通じて、コンテンツのモデレーションにおける RWKV モデルの有効性を調査します。
私たちは、より小さなモデルに抽出するために特別に設計された新しいデータセットを導入し、コンテンツモデレーションの実践を強化します。
この包括的なデータセットには、社会的課題を提示する画像、ビデオ、音声、テキスト データが含まれています。
高度なラージ言語モデル (LLM) を活用して、コンテンツ モデレーション システムをトレーニングおよび改良するために、広範な応答セット (テキストについては 558,958、画像については 83,625) を生成しました。
私たちの中心となる実験には、大規模なコンテンツ モデレーション タスクに対処するために CPU 効率の高いアーキテクチャを活用して、RWKV モデルを微調整することが含まれていました。
この研究では、データセットの知識蒸留の可能性を強調することで、コンテンツ モデレーション システムの精度と効率を向上させる RWKV の能力を実証するだけでなく、この分野でよりコンパクトでリソース効率の高いモデルを開発する道も切り開きます。
データセットとモデルは HuggingFace で見つけることができます: https://huggingface.co/modrwkv

要約(オリジナル)

This paper investigates the RWKV model’s efficacy in content moderation through targeted experimentation. We introduce a novel dataset specifically designed for distillation into smaller models, enhancing content moderation practices. This comprehensive dataset encompasses images, videos, sounds, and text data that present societal challenges. Leveraging advanced Large Language Models (LLMs), we generated an extensive set of responses — 558,958 for text and 83,625 for images — to train and refine content moderation systems. Our core experimentation involved fine-tuning the RWKV model, capitalizing on its CPU-efficient architecture to address large-scale content moderation tasks. By highlighting the dataset’s potential for knowledge distillation, this study not only demonstrates RWKV’s capability in improving the accuracy and efficiency of content moderation systems but also paves the way for developing more compact, resource-efficient models in this domain. Datasets and models can be found in HuggingFace: https://huggingface.co/modrwkv

arxiv情報

提供元, 利用サービス

arxiv.jp, Google