Meaning-Typed Programming: Language-level Abstractions and Runtime for GenAI Applications

要約

ソフトウェアは、従来の論理コードを使用したプログラムから、アプリケーション機能に生成 AI と大規模言語モデル (LLM) を活用する神経統合アプリケーションへと急速に進化しています。
この変化により、開発者は LLM について推論し、プログラムし、プロンプトを作成する必要があるため、アプリケーション構築の複雑さが増しています。
迅速なエンジニアリングを支援するツールを作成する努力にもかかわらず、これらのソリューションでは、多くの場合、神経統合アプリケーションの開発に複雑な層が追加されます。
この論文では、LLM 統合の複雑さを隠す新しい言語レベルの抽象化を導入することで、ニューロ統合アプリケーションの作成を簡素化する新しいアプローチである意味型プログラミング (MTP) を提案します。
私たちの重要な洞察は、典型的な従来のコードは、人間が読みやすく保守できるように設計されているため、自動的に推論できる高度な意味論的豊かさをすでに備えているということです。
この洞察を活用して、LLM を意味型付きコード構造として概念化し、言語レベルでの抽象化、コンパイラ レベルでの新しい意味ベースの中間表現である MT-IR、および自動化されたランタイム エンジンである MT ランタイムを導入します。
LLM の統合と運用。
私たちは MTP を Jac と呼ばれる実稼働グレードの Python スーパーセット言語で実装し、広範な評価を実行します。
私たちの結果は、MTP が開発プロセスを簡素化するだけでなく、精度と使いやすさの点で最先端の手動およびツール支援のプロンプト エンジニアリング技術の有効性を満たすか、それを上回ることを示しています。

要約(オリジナル)

Software is rapidly evolving from being programmed with traditional logical code, to neuro-integrated applications that leverage generative AI and large language models (LLMs) for application functionality. This shift increases the complexity of building applications, as developers now must reasoning about, program, and prompt LLMs. Despite efforts to create tools to assist with prompt engineering, these solutions often introduce additional layers of complexity to the development of neuro-integrated applications. This paper proposes meaning-typed programming (MTP), a novel approach to simplify the creation of neuro-integrated applications by introducing new language-level abstractions that hide the complexities of LLM integration. Our key insight is that typical conventional code already possesses a high level of semantic richness that can be automatically reasoned about, as it is designed to be readable and maintainable by humans. Leveraging this insight, we conceptualize LLMs as meaning-typed code constructs and introduce a by abstraction at the language level, MT-IR, a new meaning-based intermediate representation at the compiler level, and MT Runtime, an automated run-time engine for LLM integration and operations. We implement MTP in a production-grade Python super-set language called Jac and perform an extensive evaluation. Our results demonstrate that MTP not only simplifies the development process but also meets or exceeds the efficacy of state-of-the-art manual and tool-assisted prompt engineering techniques in terms of accuracy and usability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google