Teaching Transformers Modular Arithmetic at Scale

要約

モジュラー足し算は、$mathbb{Z}_q$の中の$N$個の要素が与えられたら、$q$のモジュロでそれらの和を計算するという、表面的には単純な操作である。しかし、この問題に対するスケーラブルな機械学習による解決策はまだ見つかっていません。先行研究では、$N ㏄6$ 個の要素の和をmod $q ㏄1000$ 個で計算するMLモデルを学習しています。暗号解読のためのMLモデルの有望な応用は、しばしば大きな$N$と$q$のモジュラー演算を伴うが、この問題を再考する動機となる。本研究では、モジュラー加算モデルの学習パイプラインに、より多様な学習データ、角度埋め込み、カスタム損失関数という3つの変更を提案する。これらの変更により、$N=256, q=3329$ での成功が実証され、これは暗号アプリケーションにとって興味深いケースであり、先行研究よりも$N$と$q$が大幅に増加した。これらのテクニックは他のモジュラー算術問題にも一般化でき、今後の研究の動機付けとなる。

要約(オリジナル)

Modular addition is, on its face, a simple operation: given $N$ elements in $\mathbb{Z}_q$, compute their sum modulo $q$. Yet, scalable machine learning solutions to this problem remain elusive: prior work trains ML models that sum $N \le 6$ elements mod $q \le 1000$. Promising applications of ML models for cryptanalysis-which often involve modular arithmetic with large $N$ and $q$-motivate reconsideration of this problem. This work proposes three changes to the modular addition model training pipeline: more diverse training data, an angular embedding, and a custom loss function. With these changes, we demonstrate success with our approach for $N = 256, q = 3329$, a case which is interesting for cryptographic applications, and a significant increase in $N$ and $q$ over prior work. These techniques also generalize to other modular arithmetic problems, motivating future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL