Understanding Addition in Transformers

要約

Transformers のような機械学習モデルの内部動作を理解することは、安全かつ倫理的に使用するために不可欠です。
このペーパーでは、n 桁の整数加算を実行するようにトレーニングされた 1 層の Transformer モデルの包括的な分析を提供します。
私たちの調査結果は、このモデルがタスクを個々の数字専用の並列ストリームに分割し、数字内のさまざまな位置に合わせて調整されたさまざまなアルゴリズムを採用していることを示唆しています。
さらに、高い損失を特徴とするまれなシナリオを特定し、それを説明します。
モデルのアルゴリズムを徹底的に解明することで、その機能についての新たな洞察を提供します。
これらの発見は、厳密なテストと数学的モデリングを通じて検証され、それによってモデルの理解と解釈可能性のより広範な分野に貢献します。
私たちのアプローチは、より複雑なタスクや多層の Transformer モデルを分析するための扉を開きます。

要約(オリジナル)

Understanding the inner workings of machine learning models like Transformers is vital for their safe and ethical use. This paper provides a comprehensive analysis of a one-layer Transformer model trained to perform n-digit integer addition. Our findings suggest that the model dissects the task into parallel streams dedicated to individual digits, employing varied algorithms tailored to different positions within the digits. Furthermore, we identify a rare scenario characterized by high loss, which we explain. By thoroughly elucidating the model’s algorithm, we provide new insights into its functioning. These findings are validated through rigorous testing and mathematical modeling, thereby contributing to the broader fields of model understanding and interpretability. Our approach opens the door for analyzing more complex tasks and multi-layer Transformer models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google