Eine umfassende Untersuchung zur ganzheitlichen Sicherheit von LLM(-Agenten): Daten, Training und Einsatz

A Comprehensive Survey in LLM(-Agent) Full Stack Safety: Data, Training and Deployment

April 22, 2025

Autoren: Kun Wang, Guibin Zhang, Zhenhong Zhou, Jiahao Wu, Miao Yu, Shiqian Zhao, Chenlong Yin, Jinhu Fu, Yibo Yan, Hanjun Luo, Liang Lin, Zhihao Xu, Haolang Lu, Xinye Cao, Xinyun Zhou, Weifei Jin, Fanci Meng, Junyuan Mao, Hao Wu, Minghe Wang, Fan Zhang, Junfeng Fang, Chengwei Liu, Yifan Zhang, Qiankun Li, Chongye Guo, Yalan Qin, Yi Ding, Donghai Hong, Jiaming Ji, Xinfeng Li, Yifan Jiang, Dongxia Wang, Yihao Huang, Yufei Guo, Jen-tse Huang, Yanwei Yue, Wenke Huang, Guancheng Wan, Tianlin Li, Lei Bai, Jie Zhang, Qing Guo, Jingyi Wang, Tianlong Chen, Joey Tianyi Zhou, Xiaojun Jia, Weisong Sun, Cong Wu, Jing Chen, Xuming Hu, Yiming Li, Xiao Wang, Ningyu Zhang, Luu Anh Tuan, Guowen Xu, Tianwei Zhang, Xingjun Ma, Xiang Wang, Bo An, Jun Sun, Mohit Bansal, Shirui Pan, Yuval Elovici, Bhavya Kailkhura, Bo Li, Yaodong Yang, Hongwei Li, Wenyuan Xu, Yizhou Sun, Wei Wang, Qing Li, Ke Tang, Yu-Gang Jiang, Felix Juefei-Xu, Hui Xiong, Xiaofeng Wang, Shuicheng Yan, Dacheng Tao, Philip S. Yu, Qingsong Wen, Yang Liu

cs.AI

Zusammenfassung

Der bemerkenswerte Erfolg von Large Language Models (LLMs) hat einen vielversprechenden Weg zur Erreichung von Künstlicher Allgemeiner Intelligenz sowohl für die akademische als auch die industrielle Gemeinschaft aufgezeigt, dank ihrer beispiellosen Leistung in verschiedenen Anwendungen. Da LLMs sowohl in der Forschung als auch in kommerziellen Bereichen weiter an Bedeutung gewinnen, sind ihre Sicherheits- und Sicherheitsimplikationen zu einer wachsenden Sorge geworden, nicht nur für Forscher und Unternehmen, sondern auch für jede Nation. Derzeit konzentrieren sich bestehende Übersichten zur Sicherheit von LLMs hauptsächlich auf bestimmte Phasen des LLM-Lebenszyklus, z.B. die Bereitstellungsphase oder die Feinabstimmungsphase, und es fehlt ein umfassendes Verständnis des gesamten "Lebenszyklus" von LLMs. Um diese Lücke zu schließen, führt dieses Papier erstmals das Konzept der "Full-Stack"-Sicherheit ein, um Sicherheitsfragen systematisch im gesamten Prozess des Trainings, der Bereitstellung und der letztendlichen Kommerzialisierung von LLMs zu betrachten. Im Vergleich zu den gängigen Übersichten zur LLM-Sicherheit zeigt unsere Arbeit mehrere deutliche Vorteile: (I) Umfassende Perspektive. Wir definieren den vollständigen LLM-Lebenszyklus als die Phasen der Datenvorbereitung, des Vor-Trainings, des Nach-Trainings, der Bereitstellung und der finalen Kommerzialisierung. Unseres Wissens ist dies die erste Sicherheitsübersicht, die den gesamten Lebenszyklus von LLMs abdeckt. (II) Umfangreiche Literaturunterstützung. Unsere Forschung basiert auf einer umfassenden Überprüfung von über 800+ Papieren, was eine umfassende Abdeckung und systematische Organisation von Sicherheitsfragen innerhalb eines ganzheitlicheren Verständnisses gewährleistet. (III) Einzigartige Einblicke. Durch systematische Literaturanalyse haben wir zuverlässige Roadmaps und Perspektiven für jedes Kapitel entwickelt. Unsere Arbeit identifiziert vielversprechende Forschungsrichtungen, darunter Sicherheit in der Datengenerierung, Alignment-Techniken, Modellbearbeitung und LLM-basierte Agentensysteme. Diese Einblicke bieten wertvolle Leitlinien für Forscher, die zukünftige Arbeiten in diesem Bereich verfolgen.

English

The remarkable success of Large Language Models (LLMs) has illuminated a promising pathway toward achieving Artificial General Intelligence for both academic and industrial communities, owing to their unprecedented performance across various applications. As LLMs continue to gain prominence in both research and commercial domains, their security and safety implications have become a growing concern, not only for researchers and corporations but also for every nation. Currently, existing surveys on LLM safety primarily focus on specific stages of the LLM lifecycle, e.g., deployment phase or fine-tuning phase, lacking a comprehensive understanding of the entire "lifechain" of LLMs. To address this gap, this paper introduces, for the first time, the concept of "full-stack" safety to systematically consider safety issues throughout the entire process of LLM training, deployment, and eventual commercialization. Compared to the off-the-shelf LLM safety surveys, our work demonstrates several distinctive advantages: (I) Comprehensive Perspective. We define the complete LLM lifecycle as encompassing data preparation, pre-training, post-training, deployment and final commercialization. To our knowledge, this represents the first safety survey to encompass the entire lifecycle of LLMs. (II) Extensive Literature Support. Our research is grounded in an exhaustive review of over 800+ papers, ensuring comprehensive coverage and systematic organization of security issues within a more holistic understanding. (III) Unique Insights. Through systematic literature analysis, we have developed reliable roadmaps and perspectives for each chapter. Our work identifies promising research directions, including safety in data generation, alignment techniques, model editing, and LLM-based agent systems. These insights provide valuable guidance for researchers pursuing future work in this field.