Web Content Filtering through knowledge distillation of Large Language Models

要約

タイトル：大規模言語モデルの知識蒸留によるWebコンテンツフィルタリング
要約：
– 大規模言語モデル（LLM）の力を借りて、Webコンテンツフィルタリングの主要な目的である、組織が法的および倫理的なリスクから身を守り、高リスクまたは疑わしいWebサイトへのアクセスを制限し、安全で専門的な職場環境を促進します。
– 弊社の方法はLLMを使用して正確な分類を生成し、確立された知識蒸留技術を使用してWebコンテンツフィルタリングに適したより小型で専門的な学習モデルを作成します。
– 無断入手した顧客テレメトリデータを利用し、175倍ものパラメーター数でLLMと同等の性能を持つ学習モデルを生成し、現在の最先端の手法を上回る30個の異なるコンテンツカテゴリーにウェブサイトを分類するために9％の精度向上が実現されました。
– 弊社の手法によって生成された出力は、よりリソース集中型の操作を実行するための事前フィルタリングとしてまたは直接返されることができます。また、従来の手法に比べて3桁も少ない手動でラベル付けされたトレーニングデータが必要です。
– 結果として、LLMと同等の性能を持つ学習モデルをボリュームの多いURLのインラインスキャンに使用でき、誤検知を減らし、より安全で生産的な職場環境を実現します。

要約(オリジナル)

We introduce a state-of-the-art approach for URL categorization that leverages the power of Large Language Models (LLMs) to address the primary objectives of web content filtering: safeguarding organizations from legal and ethical risks, limiting access to high-risk or suspicious websites, and fostering a secure and professional work environment. Our method utilizes LLMs to generate accurate classifications and then employs established knowledge distillation techniques to create smaller, more specialized student models tailored for web content filtering. Distillation results in a student model with a 9% accuracy rate improvement in classifying websites, sourced from customer telemetry data collected by a large security vendor, into 30 distinct content categories based on their URLs, surpassing the current state-of-the-art approach. Our student model matches the performance of the teacher LLM with 175 times less parameters, allowing the model to be used for in-line scanning of large volumes of URLs, and requires 3 orders of magnitude less manually labeled training data than the current state-of-the-art approach. Depending on the specific use case, the output generated by our approach can either be directly returned or employed as a pre-filter for more resource-intensive operations involving website images or HTML.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI