ADELT: Transpilation Between Deep Learning Frameworks

要約

深層学習フレームワーク間のソースからソースへの変換のために、Adversarial Deep Learning Transpiler (ADELT) を提案します。
以前のアプローチとは異なり、コード スケルトンのトランスパイルと API キーワード (API 関数名またはパラメーター名) のマッピングを分離します。
ADELT は、大きな言語モデルで数ショット プロンプトを使用してコード スケルトンをトランスパイルします。
コードのBERTによって抽出されたコンテキスト埋め込みに基づいて、ドメイン敵対セットアップで調整されたAPI埋め込みをトレーニングし、その上でキーワード翻訳用の辞書を生成します。
モデルは、手作りのルールや並列データを使用せずに、Web クロール データからのラベルのない DL コーパスでトレーニングされます。
私たちの方法は、PyTorch-Keras と PyTorch-MXNet を含む複数のトランスパイル ペアで最先端のトランスパイラーを、正確な一致スコアでそれぞれ 15.9pts と 12.0pts 上回っています。

要約(オリジナル)

We propose Adversarial DEep Learning Transpiler (ADELT) for source-to-source transpilation between deep learning frameworks. Unlike prior approaches, we decouple the transpilation of code skeletons and the mapping of API keywords (an API function name or a parameter name). ADELT transpile code skeletons using few-shot prompting on big language models. Based on contextual embeddings extracted by a BERT for code, we train aligned API embeddings in a domain-adversarial setup, upon which we generate a dictionary for keyword translation. The model is trained on our unlabeled DL corpus from web crawl data, without using any hand-crafted rules and parallel data. Our method outperforms state-of-the-art transpilers on multiple transpilation pairs including PyTorch-Keras and PyTorch-MXNet by 15.9pts and 12.0pts in exact match scores respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google