Inférence de la plateforme matérielle et logicielle

Hardware and Software Platform Inference

November 7, 2024

Auteurs: Cheng Zhang, Hanna Foerster, Robert D. Mullins, Yiren Zhao, Ilia Shumailov

cs.AI

Résumé

Il est désormais courant dans le monde des affaires d'acheter l'accès à de grands modèles linguistiques (LLM) plutôt que de les héberger soi-même, en raison des coûts initiaux importants liés à l'infrastructure matérielle et à l'énergie. Cependant, en tant qu'acheteur, il n'existe aucun mécanisme pour vérifier l'authenticité du service annoncé, y compris la plateforme matérielle utilisée, par exemple, s'il est réellement servi à l'aide d'un NVIDIA H100. De plus, il existe des rapports suggérant que les fournisseurs de modèles peuvent livrer des modèles légèrement différents de ceux annoncés, souvent pour les faire fonctionner sur du matériel moins coûteux. De cette manière, un client paie un supplément pour accéder à un modèle performant sur un matériel plus coûteux, mais se retrouve finalement servi par un modèle moins performant (potentiellement) moins cher sur un matériel moins cher. Dans cet article, nous introduisons l'inférence de la plateforme matérielle et logicielle (HSPI) - une méthode permettant d'identifier l'architecture sous-jacente et la pile logicielle d'un modèle d'apprentissage automatique (boîte noire) uniquement sur la base de son comportement entrée-sortie. Notre méthode exploite les différences inhérentes entre les différentes architectures et compilateurs pour distinguer entre différents types et piles logicielles. En analysant les motifs numériques des sorties du modèle, nous proposons un cadre de classification capable d'identifier avec précision le matériel utilisé pour l'inférence du modèle ainsi que la configuration logicielle sous-jacente. Nos résultats démontrent la faisabilité d'inférer le type de matériel à partir de modèles boîte noire. Nous évaluons HSPI par rapport à des modèles servis sur différents matériels réels et constatons que dans un environnement de boîte blanche, nous pouvons distinguer entre différents types avec une précision allant de 83,9 % à 100 %. Même dans un environnement de boîte noire, nous parvenons à obtenir des résultats jusqu'à trois fois supérieurs à la précision d'une supposition aléatoire.

English

It is now a common business practice to buy access to large language model (LLM) inference rather than self-host, because of significant upfront hardware infrastructure and energy costs. However, as a buyer, there is no mechanism to verify the authenticity of the advertised service including the serving hardware platform, e.g. that it is actually being served using an NVIDIA H100. Furthermore, there are reports suggesting that model providers may deliver models that differ slightly from the advertised ones, often to make them run on less expensive hardware. That way, a client pays premium for a capable model access on more expensive hardware, yet ends up being served by a (potentially less capable) cheaper model on cheaper hardware. In this paper we introduce \textbf{hardware and software platform inference (HSPI)} -- a method for identifying the underlying architecture and software stack of a (black-box) machine learning model solely based on its input-output behavior. Our method leverages the inherent differences of various architectures and compilers to distinguish between different types and software stacks. By analyzing the numerical patterns in the model's outputs, we propose a classification framework capable of accurately identifying the used for model inference as well as the underlying software configuration. Our findings demonstrate the feasibility of inferring type from black-box models. We evaluate HSPI against models served on different real hardware and find that in a white-box setting we can distinguish between different s with between 83.9% and 100% accuracy. Even in a black-box setting we are able to achieve results that are up to three times higher than random guess accuracy.