The Landscape and Challenges of HPC Research and LLMs

要約

最近、言語モデル (LM)、特に大規模言語モデル (LLM) が深層学習の分野に革命をもたらしました。
エンコーダ/デコーダ モデルとプロンプトベースの技術はいずれも、自然言語処理とコードベースのタスクに対して計り知れない可能性を示しています。
過去数年間にわたり、多くの研究機関や研究機関はハイパフォーマンス コンピューティングに多額の投資を行っており、エクサスケールのパフォーマンス レベルに近づいたり、それを突破したりしています。
この論文では、このような言語モデルベースの技術をハイパフォーマンス コンピューティング (HPC) のタスクに適応させて利用することが非常に有益であると仮定します。
この調査では、前述の立場の背後にある私たちの推論を示し、既存のアイデアをどのように改善して HPC タスクに適応できるかを強調します。

要約(オリジナル)

Recently, language models (LMs), especially large language models (LLMs), have revolutionized the field of deep learning. Both encoder-decoder models and prompt-based techniques have shown immense potential for natural language processing and code-based tasks. Over the past several years, many research labs and institutions have invested heavily in high-performance computing, approaching or breaching exascale performance levels. In this paper, we posit that adapting and utilizing such language model-based techniques for tasks in high-performance computing (HPC) would be very beneficial. This study presents our reasoning behind the aforementioned position and highlights how existing ideas can be improved and adapted for HPC tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google