Variationist: Exploring Multifaceted Variation and Bias in Written Language Data

要約

言語データの探索と理解は、人間の言語を扱うすべての分野における基本的な段階です。
これにより、NLP 実践者はトレーニング前にデータ内の品質上の懸念や有害なバイアスを発見でき、言語学者や社会科学者は言語使用と人間の行動についての洞察を得ることができます。
しかし、現時点では、記述統計を超えて、複数の変数、言語単位、および多様な指標にわたる言語のばらつきと偏りをシームレスに検査および視覚化するための、統合されたカスタマイズ可能なツールが不足しています。
このホワイトペーパーでは、このギャップを埋める、高度にモジュール化され、拡張可能で、タスクに依存しないツールであるバリエーション主義を紹介します。
variationist は、選択した言語単位に関する多様性と関連性メトリックにわたる変数タイプとセマンティクスの潜在的に無制限の組み合わせを一度に処理し、30 を超える変数タイプとセマンティクスの組み合わせについて、最大 5 次元のインタラクティブ チャートの作成を調整します。
計算的弁証法、人間によるラベルのバリエーション、およびテキスト生成に関するケーススタディを通じて、バリエーション主義を使用することで、さまざまな分野の研究者が特定の研究上の質問に簡単に答えたり、言語データ内の望ましくない関連性を明らかにしたりできる方法を示します。
Python ライブラリ、コード、ドキュメント、チュートリアルは、研究コミュニティに公開されています。

要約(オリジナル)

Exploring and understanding language data is a fundamental stage in all areas dealing with human language. It allows NLP practitioners to uncover quality concerns and harmful biases in data before training, and helps linguists and social scientists to gain insight into language use and human behavior. Yet, there is currently a lack of a unified, customizable tool to seamlessly inspect and visualize language variation and bias across multiple variables, language units, and diverse metrics that go beyond descriptive statistics. In this paper, we introduce Variationist, a highly-modular, extensible, and task-agnostic tool that fills this gap. Variationist handles at once a potentially unlimited combination of variable types and semantics across diversity and association metrics with regards to the language unit of choice, and orchestrates the creation of up to five-dimensional interactive charts for over 30 variable type-semantics combinations. Through our case studies on computational dialectology, human label variation, and text generation, we show how Variationist enables researchers from different disciplines to effortlessly answer specific research questions or unveil undesired associations in language data. A Python library, code, documentation, and tutorials are made publicly available to the research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google