Hardware- und Software-Plattforminferenz

Hardware and Software Platform Inference

November 7, 2024

Autoren: Cheng Zhang, Hanna Foerster, Robert D. Mullins, Yiren Zhao, Ilia Shumailov

cs.AI

Zusammenfassung

Es ist heutzutage eine gängige Geschäftspraxis, den Zugriff auf große Sprachmodell-Inferenzen (LLM) zu kaufen, anstatt sie selbst zu hosten, aufgrund erheblicher anfänglicher Hardware-Infrastruktur- und Energiekosten. Als Käufer gibt es jedoch keinen Mechanismus, um die Echtheit des beworbenen Dienstes zu überprüfen, einschließlich der verwendeten Hardware-Plattform, z.B. ob tatsächlich ein NVIDIA H100 verwendet wird. Darüber hinaus gibt es Berichte, die nahelegen, dass Modellanbieter Modelle liefern könnten, die geringfügig von den beworbenen abweichen, oft um sie auf kostengünstigerer Hardware auszuführen. Auf diese Weise zahlt ein Kunde einen Aufpreis für den Zugriff auf ein leistungsfähiges Modell auf teurerer Hardware, wird jedoch letztendlich von einem (potenziell weniger leistungsfähigen) günstigeren Modell auf billigerer Hardware bedient. In diesem Papier stellen wir \textbf{Hardware- und Software-Plattform-Inferenz (HSPI)} vor - eine Methode zur Identifizierung der zugrunde liegenden Architektur und Software-Struktur eines (Black-Box-) maschinellen Lernmodells ausschließlich basierend auf seinem Ein-Ausgabeverhalten. Unsere Methode nutzt die inhärenten Unterschiede verschiedener Architekturen und Compiler, um zwischen verschiedenen Typen und Software-Strukturen zu unterscheiden. Durch die Analyse der numerischen Muster in den Ausgaben des Modells schlagen wir ein Klassifizierungsframework vor, das in der Lage ist, den für die Modellinferenz verwendeten Typ sowie die zugrunde liegende Software-Konfiguration genau zu identifizieren. Unsere Ergebnisse zeigen die Machbarkeit der Inferenz des Typs aus Black-Box-Modellen. Wir evaluieren HSPI gegen Modelle, die auf verschiedenen realen Hardware-Plattformen ausgeführt werden, und stellen fest, dass wir in einer White-Box-Umgebung zwischen verschiedenen Typen mit einer Genauigkeit von 83,9% bis 100% unterscheiden können. Selbst in einer Black-Box-Umgebung können wir Ergebnisse erzielen, die bis zu drei Mal höher sind als die zufällige Rate.

English

It is now a common business practice to buy access to large language model (LLM) inference rather than self-host, because of significant upfront hardware infrastructure and energy costs. However, as a buyer, there is no mechanism to verify the authenticity of the advertised service including the serving hardware platform, e.g. that it is actually being served using an NVIDIA H100. Furthermore, there are reports suggesting that model providers may deliver models that differ slightly from the advertised ones, often to make them run on less expensive hardware. That way, a client pays premium for a capable model access on more expensive hardware, yet ends up being served by a (potentially less capable) cheaper model on cheaper hardware. In this paper we introduce \textbf{hardware and software platform inference (HSPI)} -- a method for identifying the underlying architecture and software stack of a (black-box) machine learning model solely based on its input-output behavior. Our method leverages the inherent differences of various architectures and compilers to distinguish between different types and software stacks. By analyzing the numerical patterns in the model's outputs, we propose a classification framework capable of accurately identifying the used for model inference as well as the underlying software configuration. Our findings demonstrate the feasibility of inferring type from black-box models. We evaluate HSPI against models served on different real hardware and find that in a white-box setting we can distinguish between different s with between 83.9% and 100% accuracy. Even in a black-box setting we are able to achieve results that are up to three times higher than random guess accuracy.