Exploring Empty Spaces: Human-in-the-Loop Data Augmentation

要約

機械学習モデルをよりロバストで安全なものにするためには、データの増強が不可欠である。しかし、エッジケースにおけるモデルの挙動を厳密に評価し、潜在的な弊害を軽減するためには、多様なデータポイントを生成する必要があるため、データの増強は困難な場合があります。これらの「未知の未知数」をカバーする高品質なオーグメントを作成することは、時間と創造性に集約されるタスクである。この研究では、構造化されていないテキストデータセットの「未知の未知」をナビゲートし、探索すべき空のデータ空間を体系的に特定することによってデータの多様性を向上させるための対話型ツールであるAmplioを紹介する。Amplioには、3つの人間によるデータ補強技術が含まれている：概念による補強、補間による補強、大規模言語モデルによる補強です。18人のプロのレッド・チーパーを対象としたユーザー・スタディにおいて、高品質で多様かつ関連性の高いモデル安全性プロンプトを生成する上で、我々のオーグメンテーション手法が有用であることを実証した。Amplioは、レッドチーマーが迅速かつ創造的にデータをオーグメントすることを可能にし、インタラクティブなオーグメントワークフローの変革の可能性を浮き彫りにしました。

要約(オリジナル)

Data augmentation is crucial to make machine learning models more robust and safe. However, augmenting data can be challenging as it requires generating diverse data points to rigorously evaluate model behavior on edge cases and mitigate potential harms. Creating high-quality augmentations that cover these ‘unknown unknowns’ is a time- and creativity-intensive task. In this work, we introduce Amplio, an interactive tool to help practitioners navigate ‘unknown unknowns’ in unstructured text datasets and improve data diversity by systematically identifying empty data spaces to explore. Amplio includes three human-in-the-loop data augmentation techniques: Augment With Concepts, Augment by Interpolation, and Augment with Large Language Model. In a user study with 18 professional red teamers, we demonstrate the utility of our augmentation methods in helping generate high-quality, diverse, and relevant model safety prompts. We find that Amplio enabled red teamers to augment data quickly and creatively, highlighting the transformative potential of interactive augmentation workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL