A Unified Evaluation Framework for Novelty Detection and Accommodation in NLP with an Instantiation in Authorship Attribution

要約

タイトル：NLPにおける新規性検出と追加のための統一的評価フレームワーク：筆者判定の即時実装を用いた評価

要約：
– 状況の分かっている閉じられた世界の場合において、自然言語処理のモデルは驚くほどのパフォーマンスを達成していることが示されている。
– しかしながら、現実世界では、既知のクラスに属さない「新規」のインスタンスがしばしば観察されることがある。それゆえ、新規性を扱う能力が不可欠となる。
– この大切な領域の「新規性を扱う」に関するシステマティックな研究を開始するために、「NoveltyTask」というマルチ段階のタスクを紹介し、パイプラインの新規性「検出」と「追加」のタスクに対するシステムのパフォーマンスを評価する。
– NoveltyTaskの数学的定式化を提供し、テキストの正しい著者を特定する筆者判定タスクで実装する。
– Amazonのレビュー・コーパスを使用し、NoveltyTaskのための大規模なデータセット（200名の著者/ラベルを横断する250kインスタンスで構成）を編成する。
– タスクに対するいくつかのベースライン・メソッドを探索する包括的な実験を実施し、低いパフォーマンスを示して、タスクが難しいことを示し、改善の余地があることを示す。
– 最後に、我々の研究が「新規性を扱う」という未開拓の領域の研究を促進し、頑強なシステムの開発に向けた重要なステップとなることを願っている。

要約(オリジナル)

State-of-the-art natural language processing models have been shown to achieve remarkable performance in ‘closed-world’ settings where all the labels in the evaluation set are known at training time. However, in real-world settings, ‘novel’ instances that do not belong to any known class are often observed. This renders the ability to deal with novelties crucial. To initiate a systematic research in this important area of ‘dealing with novelties’, we introduce ‘NoveltyTask’, a multi-stage task to evaluate a system’s performance on pipelined novelty ‘detection’ and ‘accommodation’ tasks. We provide mathematical formulation of NoveltyTask and instantiate it with the authorship attribution task that pertains to identifying the correct author of a given text. We use Amazon reviews corpus and compile a large dataset (consisting of 250k instances across 200 authors/labels) for NoveltyTask. We conduct comprehensive experiments and explore several baseline methods for the task. Our results show that the methods achieve considerably low performance making the task challenging and leaving sufficient room for improvement. Finally, we believe our work will encourage research in this underexplored area of dealing with novelties, an important step en route to developing robust systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI