Inferenza della Piattaforma Hardware e Software

Hardware and Software Platform Inference

November 7, 2024

Autori: Cheng Zhang, Hanna Foerster, Robert D. Mullins, Yiren Zhao, Ilia Shumailov

cs.AI

Abstract

È ormai pratica comune nel mondo degli affari acquistare l'accesso a grandi modelli linguistici (LLM) per l'inferenza piuttosto che auto-ospitarli, a causa dei significativi costi iniziali di infrastruttura hardware ed energetica. Tuttavia, come acquirente, non esiste un meccanismo per verificare l'autenticità del servizio pubblicizzato, compresa la piattaforma hardware di servizio, ad esempio che effettivamente venga utilizzata una NVIDIA H100. Inoltre, ci sono segnalazioni che suggeriscono che i fornitori di modelli possano consegnare modelli leggermente diversi da quelli pubblicizzati, spesso per farli funzionare su hardware meno costoso. In questo modo, un cliente paga un premio per accedere a un modello capace su hardware più costoso, ma finisce per essere servito da un modello (potenzialmente meno capace) più economico su hardware più economico. In questo articolo presentiamo l'\textbf{inferenza della piattaforma hardware e software (HSPI)} - un metodo per identificare l'architettura sottostante e lo stack software di un modello di apprendimento automatico (scatola nera) basandosi esclusivamente sul suo comportamento input-output. Il nostro metodo sfrutta le differenze intrinseche di varie architetture e compilatori per distinguere tra diversi tipi e stack software. Analizzando i pattern numerici nelle uscite del modello, proponiamo un framework di classificazione in grado di identificare con precisione l'hardware utilizzato per l'inferenza del modello e la configurazione software sottostante. I nostri risultati dimostrano la fattibilità di inferire il tipo di hardware da modelli scatola nera. Valutiamo l'HSPI rispetto ai modelli serviti su diversi hardware reali e scopriamo che in un contesto white-box possiamo distinguere tra diversi tipi con una precisione compresa tra l'83,9% e il 100%. Anche in un contesto black-box siamo in grado di ottenere risultati fino a tre volte superiori rispetto alla precisione di un'ipotesi casuale.

English

It is now a common business practice to buy access to large language model (LLM) inference rather than self-host, because of significant upfront hardware infrastructure and energy costs. However, as a buyer, there is no mechanism to verify the authenticity of the advertised service including the serving hardware platform, e.g. that it is actually being served using an NVIDIA H100. Furthermore, there are reports suggesting that model providers may deliver models that differ slightly from the advertised ones, often to make them run on less expensive hardware. That way, a client pays premium for a capable model access on more expensive hardware, yet ends up being served by a (potentially less capable) cheaper model on cheaper hardware. In this paper we introduce \textbf{hardware and software platform inference (HSPI)} -- a method for identifying the underlying architecture and software stack of a (black-box) machine learning model solely based on its input-output behavior. Our method leverages the inherent differences of various architectures and compilers to distinguish between different types and software stacks. By analyzing the numerical patterns in the model's outputs, we propose a classification framework capable of accurately identifying the used for model inference as well as the underlying software configuration. Our findings demonstrate the feasibility of inferring type from black-box models. We evaluate HSPI against models served on different real hardware and find that in a white-box setting we can distinguish between different s with between 83.9% and 100% accuracy. Even in a black-box setting we are able to achieve results that are up to three times higher than random guess accuracy.