ADELT: Transpilation Between Deep Learning Frameworks

要約

私たちは、深層学習フレームワーク間のソース間変換に対する新しいアプローチである Adversarial DEep Learning Transpiler (ADELT) を提案します。
ADELT は、コード スケルトンのトランスパイルと API キーワード マッピングを独自に分離します。
コード スケルトンのトランスパイルでは、大規模言語モデル (LLM) での少数ショット プロンプトを使用します。一方、API キーワード マッピングでは、コード固有の BERT からのコンテキスト埋め込みを使用します。
これらの埋め込みは、キーワード翻訳辞書を生成するために、ドメイン敵対的な設定でトレーニングされます。
ADELT は、手作りのルールや並列データに依存せず、ラベルなしの Web クロールされた深層学習コーパスでトレーニングされます。
最先端のトランスパイラよりも優れたパフォーマンスを発揮し、PyTorch-Keras および PyTorch-MXNet トランスパイラ ペアの pass@1 レートをそれぞれ 17.4 ポイントおよび 15.0 ポイント向上させます。
https://github.com/gonglinyuan/adelt でコードへのオープン アクセスを提供しています。

要約(オリジナル)

We propose the Adversarial DEep Learning Transpiler (ADELT), a novel approach to source-to-source transpilation between deep learning frameworks. ADELT uniquely decouples code skeleton transpilation and API keyword mapping. For code skeleton transpilation, it uses few-shot prompting on large language models (LLMs), while for API keyword mapping, it uses contextual embeddings from a code-specific BERT. These embeddings are trained in a domain-adversarial setup to generate a keyword translation dictionary. ADELT is trained on an unlabeled web-crawled deep learning corpus, without relying on any hand-crafted rules or parallel data. It outperforms state-of-the-art transpilers, improving pass@1 rate by 17.4 pts and 15.0 pts for PyTorch-Keras and PyTorch-MXNet transpilation pairs respectively. We provide open access to our code at https://github.com/gonglinyuan/adelt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google