It Ain’t That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models

要約

Generative Transformer ベースのモデルは、さまざまな問題を解決する上で驚くべき熟練度を達成しました。
ただし、彼らの一般化能力は完全には理解されておらず、必ずしも満足できるものではありません。
研究者は、一般化動作を調査するための重要な視点として、n 桁の加算や乗算などの基本的な数学タスクを取り上げます。
興味深いことに、両方の入力オペランドの長さが n 桁である n 桁の演算 (加算など) でトレーニングすると、モデルは目に見えない n 桁の入力で正常に一般化 (分布内 (ID) 一般化) することが観察されますが、
長期にわたる未確認のケースで惨めかつ不可解な失敗をする（配布外（OOD）の一般化）。
研究では、位置の埋め込みの変更、微調整、より広範囲または有益なデータによるプライミングなどの回避策でこのギャップを埋めようとしています。
ただし、本質的なメカニズムに対処しない限り、これらのソリューションの堅牢性に関する保証はほとんどありません。
私たちはこの説明のつかないパフォーマンスの低下に注目し、それが純粋にランダムなエラーによるものかどうかを尋ねます。
ここでは、モデルの解釈可能性において顕著な成功を収めている機械論的な研究分野に目を向けます。
私たちは、強力な ID 一般化が構造化表現に由来する一方で、満足のいく OOD パフォーマンスの背後にあるモデルが依然として明確に学習された代数構造を示していることを発見しました。
具体的には、これらのモデルは、ID ドメインの等価関係を使用して、目に見えない OOD 入力を出力にマッピングします。
これらは、一般化を改善するために有用な情報を伝えるモデルの可能性を強調しています。

要約(オリジナル)

Generative Transformer-based models have achieved remarkable proficiency on solving diverse problems. However, their generalization ability is not fully understood and not always satisfying. Researchers take basic mathematical tasks like n-digit addition or multiplication as important perspectives for investigating their generalization behaviors. Curiously, it is observed that when training on n-digit operations (e.g., additions) in which both input operands are n-digit in length, models generalize successfully on unseen n-digit inputs (in-distribution (ID) generalization), but fail miserably and mysteriously on longer, unseen cases (out-of-distribution (OOD) generalization). Studies try to bridge this gap with workarounds such as modifying position embedding, fine-tuning, and priming with more extensive or instructive data. However, without addressing the essential mechanism, there is hardly any guarantee regarding the robustness of these solutions. We bring this unexplained performance drop into attention and ask whether it is purely from random errors. Here we turn to the mechanistic line of research which has notable successes in model interpretability. We discover that the strong ID generalization stems from structured representations, while behind the unsatisfying OOD performance, the models still exhibit clear learned algebraic structures. Specifically, these models map unseen OOD inputs to outputs with equivalence relations in the ID domain. These highlight the potential of the models to carry useful information for improved generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google