Add Noise, Tasks, or Layers? MaiNLP at the VarDial 2025 Shared Task on Norwegian Dialectal Slot and Intent Detection

要約

スロットおよびインテント検出 (SID) は、古典的な自然言語理解タスクです。
それにもかかわらず、研究が方言および口語多様性の SID に焦点を当て始めたのはごく最近のことです。
低リソースのシナリオに対する多くのアプローチは、まだ方言 SID データに適用されておらず、同じデータセット上で相互に比較されていません。
私たちは、ノルウェー語の品種におけるスロットとインテントの検出に関する VarDial 2025 共有タスクに参加し、トレーニング データ (英語、ノルウェー語、方言ノルウェー語) の変更、文字レベルのノイズの注入、補助タスクのトレーニング、および
レイヤー スワッピングを適用します。これは、さまざまなデータセットで微調整されたモデルのレイヤーを 1 つのモデルに組み立てる手法です。
補助タスクの効果が混在している場合でも、ノイズ挿入が有益であることがわかりました。
レイヤーからモデルをうまく組み立てるには多少の実験が必要でしたが、驚くほどうまくいきました。
英語でトレーニングされたモデルと少量の方言データの組み合わせにより、最も堅牢なスロット予測が生成されました。
当社の最高のモデルは、共有タスクで 97.6% のインテント精度と 85.6% のスロット F1 を達成しています。

要約(オリジナル)

Slot and intent detection (SID) is a classic natural language understanding task. Despite this, research has only more recently begun focusing on SID for dialectal and colloquial varieties. Many approaches for low-resource scenarios have not yet been applied to dialectal SID data, or compared to each other on the same datasets. We participate in the VarDial 2025 shared task on slot and intent detection in Norwegian varieties, and compare multiple set-ups: varying the training data (English, Norwegian, or dialectal Norwegian), injecting character-level noise, training on auxiliary tasks, and applying Layer Swapping, a technique in which layers of models fine-tuned on different datasets are assembled into a model. We find noise injection to be beneficial while the effects of auxiliary tasks are mixed. Though some experimentation was required to successfully assemble a model from layers, it worked surprisingly well; a combination of models trained on English and small amounts of dialectal data produced the most robust slot predictions. Our best models achieve 97.6% intent accuracy and 85.6% slot F1 in the shared task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google