Soft Alignment Objectives for Robust Adaptation of Language Generation

要約

ドメイン適応により、生成言語モデルは、アプリケーションのドメイン シフトによって引き起こされる特定の欠陥に対処できるようになります。
ただし、ドメイン内データでのさらなるトレーニングによる従来の適応では、他のドメインに一般化するモデルの能力が急速に弱まり、適応されたモデルの無制限の展開ではエラーが発生しやすくなります。
この研究では、予測されたトークンと参照の意味的類似性に基づいて構築された新しいトレーニング目標が導入されています。
私たちの結果は、(1) トークンの意味的類似性に基づいてトレーニング ターゲットを構築することで、単一の正しい予測という共通の仮定を回避することで、ドメイン適応中の壊滅的な忘却を軽減できる一方で、(2) 適応の品質を維持し、(3) 影響は無視できることを示しています。
コストを計算するための追加。
より広い文脈では、継続的なトークンの類似性に基づいた目標は、効率的ではあるが完全に一致しないトークンレベルの目標と、表現力はあるが計算とリソースを大量に消費する逐次的な目標との間の中間点の探求の先駆者となります。
。

要約(オリジナル)

Domain adaptation allows generative language models to address specific flaws caused by the domain shift of their application. However, the traditional adaptation by further training on in-domain data rapidly weakens the model’s ability to generalize to other domains, making the open-ended deployments of the adapted models prone to errors. This work introduces novel training objectives built upon a semantic similarity of the predicted tokens to the reference. Our results show that (1) avoiding the common assumption of a single correct prediction by constructing the training target from tokens’ semantic similarity can mitigate catastrophic forgetting during domain adaptation, while (2) preserving the quality of the adaptation, (3) with negligible additions to compute costs. In the broader context, the objectives grounded in a continuous token similarity pioneer the exploration of the middle ground between the efficient but na\'{\i}ve exact-match token-level objectives and expressive but computationally- and resource-intensive sequential objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google