SecCodePLT: Een Geïntegreerd Platform voor het Evalueren van de Beveiliging van Code GenAI.

SecCodePLT: A Unified Platform for Evaluating the Security of Code GenAI

October 14, 2024

Auteurs: Yu Yang, Yuzhou Nie, Zhun Wang, Yuheng Tang, Wenbo Guo, Bo Li, Dawn Song

cs.AI

Samenvatting

Bestaande werken hebben meerdere benchmarks vastgesteld om de beveiligingsrisico's van Code GenAI te benadrukken. Deze risico's worden voornamelijk weerspiegeld in twee gebieden: het potentieel van een model om onveilige code te genereren (onveilig coderen) en de bruikbaarheid ervan bij cyberaanvallen (cyberaanval behulpzaamheid). Hoewel deze benchmarks aanzienlijke vooruitgang hebben geboekt, blijven er mogelijkheden voor verdere verbetering. Zo richten veel huidige benchmarks zich meer op de capaciteit van een model om aanvalssuggesties te bieden dan op zijn vermogen om uitvoerbare aanvallen te genereren. Bovendien vertrouwen de meeste benchmarks zwaar op statische evaluatiemetrics, die mogelijk niet zo nauwkeurig zijn als dynamische metrics zoals het slagen voor testgevallen. Daarentegen opereren door experts geverifieerde benchmarks, hoewel ze hoogwaardige gegevens bieden, vaak op kleinere schaal. Om deze hiaten aan te pakken, ontwikkelen we SecCodePLT, een verenigd en uitgebreid evaluatieplatform voor de risico's van code GenAI. Voor onveilige code introduceren we een nieuwe methodologie voor gegevenscreatie die experts combineert met automatische generatie. Onze methodologie waarborgt de gegevenskwaliteit en maakt grootschalige generatie mogelijk. We koppelen ook voorbeelden aan testgevallen om dynamische evaluatie met betrekking tot code uit te voeren. Voor de behulpzaamheid bij cyberaanvallen creëren we een echte omgeving en construeren we voorbeelden om een model aan te zetten tot het genereren van daadwerkelijke aanvallen, samen met dynamische metrics in onze omgeving. We voeren uitgebreide experimenten uit en tonen aan dat SecCodePLT beter presteert dan de state-of-the-art (SOTA) benchmark CyberSecEval op het gebied van beveiligingsrelevantie. Bovendien identificeert het beter de beveiligingsrisico's van SOTA-modellen op het gebied van onveilig coderen en cyberaanval behulpzaamheid. Tot slot passen we SecCodePLT toe op de SOTA code-agent, Cursor, en identificeren we voor het eerst niet-triviale beveiligingsrisico's in deze geavanceerde code-agent.

English

Existing works have established multiple benchmarks to highlight the security risks associated with Code GenAI. These risks are primarily reflected in two areas: a model potential to generate insecure code (insecure coding) and its utility in cyberattacks (cyberattack helpfulness). While these benchmarks have made significant strides, there remain opportunities for further improvement. For instance, many current benchmarks tend to focus more on a model ability to provide attack suggestions rather than its capacity to generate executable attacks. Additionally, most benchmarks rely heavily on static evaluation metrics, which may not be as precise as dynamic metrics such as passing test cases. Conversely, expert-verified benchmarks, while offering high-quality data, often operate at a smaller scale. To address these gaps, we develop SecCodePLT, a unified and comprehensive evaluation platform for code GenAIs' risks. For insecure code, we introduce a new methodology for data creation that combines experts with automatic generation. Our methodology ensures the data quality while enabling large-scale generation. We also associate samples with test cases to conduct code-related dynamic evaluation. For cyberattack helpfulness, we set up a real environment and construct samples to prompt a model to generate actual attacks, along with dynamic metrics in our environment. We conduct extensive experiments and show that SecCodePLT outperforms the state-of-the-art (SOTA) benchmark CyberSecEval in security relevance. Furthermore, it better identifies the security risks of SOTA models in insecure coding and cyberattack helpfulness. Finally, we apply SecCodePLT to the SOTA code agent, Cursor, and, for the first time, identify non-trivial security risks in this advanced coding agent.