Are LLM-based methods good enough for detecting unfair terms of service?

要約

あらゆる種類のアプリや Web サイトを操作する際に、世界中のユーザーが毎日無数の利用規約 (ToS) に署名しています。
多くの場合、このような 2 桁のページにわたるオンライン契約は、単に目的のサービスにすぐにアクセスしたいだけのユーザーによって盲目的に署名されます。
通常は法務チームとの協議が必要な作業が、現在では数回クリックするだけで構成される日常的な活動になり、ユーザーは潜在的に、たとえばデータプライバシーの観点から、無数のオンラインエンティティ/企業に対して自分の権利を放棄することができます。
大規模言語モデル (LLM) は、長いテキストベースの文書の解析に優れており、ToS およびその基礎となるプライバシー ポリシーの疑わしい条項に対処する際にユーザーを支援するために採用される可能性があります。
このタスクに対する既存のモデルの有用性を調査するために、まず、人気のある Web サイトからクロールされた一連のプライバシー ポリシーに個別に適用される 12 の質問で構成されるデータセットを構築します。
その後、一連のオープンソースおよび ChatGPT などの商用チャットボットに対して各質問がクエリされ、その回答が特定のグラウンド トゥルースと比較されます。
私たちの結果は、一部のオープンソース モデルが一部の商用モデルと比較して高い精度を提供できることを示しています。
ただし、最高のパフォーマンスは商用チャットボット (ChatGPT4) から記録されます。
全体として、このタスクではすべてのモデルのパフォーマンスがランダムよりわずかに優れているだけです。
したがって、この目的で広く採用される前に、そのパフォーマンスを大幅に改善する必要があります。

要約(オリジナル)

Countless terms of service (ToS) are being signed everyday by users all over the world while interacting with all kinds of apps and websites. More often than not, these online contracts spanning double-digit pages are signed blindly by users who simply want immediate access to the desired service. What would normally require a consultation with a legal team, has now become a mundane activity consisting of a few clicks where users potentially sign away their rights, for instance in terms of their data privacy, to countless online entities/companies. Large language models (LLMs) are good at parsing long text-based documents, and could potentially be adopted to help users when dealing with dubious clauses in ToS and their underlying privacy policies. To investigate the utility of existing models for this task, we first build a dataset consisting of 12 questions applied individually to a set of privacy policies crawled from popular websites. Thereafter, a series of open-source as well as commercial chatbots such as ChatGPT, are queried over each question, with the answers being compared to a given ground truth. Our results show that some open-source models are able to provide a higher accuracy compared to some commercial models. However, the best performance is recorded from a commercial chatbot (ChatGPT4). Overall, all models perform only slightly better than random at this task. Consequently, their performance needs to be significantly improved before they can be adopted at large for this purpose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google