OMPGPT: A Generative Pre-trained Transformer Model for OpenMP

要約

ChatGPT などの大規模言語モデル (LLM) は、自然言語処理 (NLP) の分野を大幅に進歩させました。
この傾向は、StarCoder、WizardCoder、CodeLlama などのコードベースの大規模言語モデルの開発につながりました。これらは、コードとプログラミング言語の膨大なリポジトリで広範囲にトレーニングされています。
これらのコード LLM の一般的な機能は、コード生成などのタスクで多くのプログラマーにとって役立ちますが、ハイ パフォーマンス コンピューティング (HPC) の領域では要件がより狭いため、より小型でドメイン固有のモデルが賢明な選択となります。
この文書では、OpenMP プラグマ生成用の言語モデルの固有の強みを活用するために細心の注意を払って設計された、新しいドメイン固有のモデルである OMPGPT について説明します。
さらに、NLP ドメインのプロンプト エンジニアリング技術を活用して、OMPGPT の有効性を高めるために設計された革新的な戦略である Chain-of-OMP を作成します。
私たちの広範な評価により、OMPGPT は OpenMP タスクに特化した既存の大規模言語モデルよりも優れたパフォーマンスを示し、顕著に小さいサイズを維持し、HPC 環境の典型的なハードウェア制約により厳密に適合することが実証されました。
私たちは、言語モデルの利点を HPC タスクの特定の要求に結び付ける極めて重要な架け橋としての貢献を考えています。

要約(オリジナル)

Large language models (LLMs)such as ChatGPT have significantly advanced the field of Natural Language Processing (NLP). This trend led to the development of code-based large language models such as StarCoder, WizardCoder, and CodeLlama, which are trained extensively on vast repositories of code and programming languages. While the generic abilities of these code LLMs are useful for many programmers in tasks like code generation, the area of high-performance computing (HPC) has a narrower set of requirements that make a smaller and more domain-specific model a smarter choice. This paper presents OMPGPT, a novel domain-specific model meticulously designed to harness the inherent strengths of language models for OpenMP pragma generation. Furthermore, we leverage prompt engineering techniques from the NLP domain to create Chain-of-OMP, an innovative strategy designed to enhance OMPGPT’s effectiveness. Our extensive evaluations demonstrate that OMPGPT outperforms existing large language models specialized in OpenMP tasks and maintains a notably smaller size, aligning it more closely with the typical hardware constraints of HPC environments. We consider our contribution as a pivotal bridge, connecting the advantage of language models with the specific demands of HPC tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google