‘Alexa, can you forget me?’ Machine Unlearning Benchmark in Spoken Language Understanding

要約

機械学習モデルから特定の情報を効率的に削除するプロセスであるマシンの未学習は、責任あるAIにとって成長する関心分野です。
ただし、複雑なタスク、特に音声関連のタスクに対する未解決の方法の有効性を調査した研究はほとんどありません。
このペーパーでは、4つの言語に及ぶ4つのデータセットに焦点を当てた、音声言語理解（SLU）のマシンの最初のベンチマークであるUnslu-Benchを紹介します。
特定のスピーカーからのデータの解除に、「忘れられる権利」の潜在的な品質を評価する方法として対処します。
8つの学習技術を評価し、その有効性、有用性、および効率を同時にキャプチャするために、新しいメトリックを提案します。
Unslu-Benchは、SLUでの学習の基盤を設定し、さまざまな手法の有効性と計算可能性に大きな違いを明らかにしています。

要約(オリジナル)

Machine unlearning, the process of efficiently removing specific information from machine learning models, is a growing area of interest for responsible AI. However, few studies have explored the effectiveness of unlearning methods on complex tasks, particularly speech-related ones. This paper introduces UnSLU-BENCH, the first benchmark for machine unlearning in spoken language understanding (SLU), focusing on four datasets spanning four languages. We address the unlearning of data from specific speakers as a way to evaluate the quality of potential ‘right to be forgotten’ requests. We assess eight unlearning techniques and propose a novel metric to simultaneously better capture their efficacy, utility, and efficiency. UnSLU-BENCH sets a foundation for unlearning in SLU and reveals significant differences in the effectiveness and computational feasibility of various techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google