Verde: Verification via Refereed Delegation for Machine Learning Programs

要約

推論、微調整、LLMのトレーニングを実行する機械学習プログラムは、一般に信頼されていない計算プロバイダーに委任されます。
クライアントに正確性保証を提供するために、審判委任の暗号化概念を機械学習設定に適応させることを提案します。
このアプローチにより、計算限定のクライアントは、少なくとも1つが正直な場合は、正しい結果を得ることを保証するために、プログラムを複数の信頼できない計算プロバイダーに委任できます。
MLプログラムの審議された委任は、2つの技術的ハードルを提起します。（1）紛争を解決するための仲裁プロトコルは、プロバイダーが出力で同意しない場合に紛争を解決し、（2）さまざまなハードウェアセットアップ全体でMLプログラムをビットワイズに再現する能力、（1）、私たちはVerdeを設計します。
（2）の場合、すべてのハードウェアで実行されるフローティングポイント操作の順序を制御することにより、ハードウェア「非決定的」を排除するライブラリであるRepops（再現可能な演算子）を構築します。
私たちの実装は、審判委任された代表団が、クライアントの強力な保証と、計算プロバイダーの実用的なオーバーヘッドの両方を達成することを示しています。

要約(オリジナル)

Machine learning programs, such as those performing inference, fine-tuning, and training of LLMs, are commonly delegated to untrusted compute providers. To provide correctness guarantees for the client, we propose adapting the cryptographic notion of refereed delegation to the machine learning setting. This approach enables a computationally limited client to delegate a program to multiple untrusted compute providers, with a guarantee of obtaining the correct result if at least one of them is honest. Refereed delegation of ML programs poses two technical hurdles: (1) an arbitration protocol to resolve disputes when compute providers disagree on the output, and (2) the ability to bitwise reproduce ML programs across different hardware setups, For (1), we design Verde, a dispute arbitration protocol that efficiently handles the large scale and graph-based computational model of modern ML programs. For (2), we build RepOps (Reproducible Operators), a library that eliminates hardware ‘non-determinism’ by controlling the order of floating point operations performed on all hardware. Our implementation shows that refereed delegation achieves both strong guarantees for clients and practical overheads for compute providers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google