要約
本論文では、ICASSP Signal Processing Grand Challenge 2023の一部であるSpoken Language Understanding Grand Challengeの低リソース領域適応トラック(Track 3)に向けた我々のシステムを紹介する。本トラックでは、ASRとNLUのパイプラインアプローチを採用した。ASRでは、Whisperをドメインごとにアップサンプリングして微調整します。NLUでは、Track3の全データでBARTを微調整し、さらに低リソースドメインのデータで微調整します。マスクドLM(MLM)ベースのデータ補強を適用し、入力トークンの一部と対応するターゲットラベルをMLMで置き換えます。また、検索に基づくアプローチも適用し、モデルの入力を類似の訓練サンプルで補強した。その結果、reminder/weatherドメインにおいて、完全一致(EM)精度63.3/75.0(平均69.15)を達成し、チャレンジで1位を獲得しました。
要約(オリジナル)
This paper describes our system for the low-resource domain adaptation track (Track 3) in Spoken Language Understanding Grand Challenge, which is a part of ICASSP Signal Processing Grand Challenge 2023. In the track, we adopt a pipeline approach of ASR and NLU. For ASR, we fine-tune Whisper for each domain with upsampling. For NLU, we fine-tune BART on all the Track3 data and then on low-resource domain data. We apply masked LM (MLM) -based data augmentation, where some of input tokens and corresponding target labels are replaced using MLM. We also apply a retrieval-based approach, where model input is augmented with similar training samples. As a result, we achieved exact match (EM) accuracy 63.3/75.0 (average: 69.15) for reminder/weather domain, and won the 1st place at the challenge.
arxiv情報
著者 | Hayato Futami,Jessica Huynh,Siddhant Arora,Shih-Lun Wu,Yosuke Kashiwagi,Yifan Peng,Brian Yan,Emiru Tsunoo,Shinji Watanabe |
発行日 | 2023-05-11 07:56:42+00:00 |
arxivサイト | arxiv_id(pdf) |