AISafetyLab: Комплексная структура для оценки и повышения безопасности ИИ

AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement

February 24, 2025

Авторы: Zhexin Zhang, Leqi Lei, Junxiao Yang, Xijie Huang, Yida Lu, Shiyao Cui, Renmiao Chen, Qinglin Zhang, Xinyuan Wang, Hao Wang, Hao Li, Xianqi Lei, Chengwei Pan, Lei Sha, Hongning Wang, Minlie Huang

cs.AI

Аннотация

По мере того как модели искусственного интеллекта всё чаще внедряются в разнообразные реальные сценарии, обеспечение их безопасности остаётся критической, но недостаточно изученной задачей. Несмотря на значительные усилия, направленные на оценку и повышение безопасности ИИ, отсутствие стандартизированной структуры и комплексного инструментария создаёт серьёзные препятствия для систематических исследований и практического применения. Чтобы устранить этот пробел, мы представляем AISafetyLab — унифицированную структуру и инструментарий, который интегрирует репрезентативные методы атак, защиты и оценки безопасности ИИ. AISafetyLab обладает интуитивно понятным интерфейсом, позволяющим разработчикам легко применять различные методы, сохраняя при этом хорошо структурированную и расширяемую кодовую базу для будущих улучшений. Кроме того, мы проводим эмпирические исследования на модели Vicuna, анализируя различные стратегии атак и защиты, чтобы предоставить ценные данные об их сравнительной эффективности. Для содействия дальнейшим исследованиям и разработкам в области безопасности ИИ AISafetyLab доступен публично по адресу https://github.com/thu-coai/AISafetyLab, и мы стремимся к его постоянному поддержанию и совершенствованию.

English

As AI models are increasingly deployed across diverse real-world scenarios, ensuring their safety remains a critical yet underexplored challenge. While substantial efforts have been made to evaluate and enhance AI safety, the lack of a standardized framework and comprehensive toolkit poses significant obstacles to systematic research and practical adoption. To bridge this gap, we introduce AISafetyLab, a unified framework and toolkit that integrates representative attack, defense, and evaluation methodologies for AI safety. AISafetyLab features an intuitive interface that enables developers to seamlessly apply various techniques while maintaining a well-structured and extensible codebase for future advancements. Additionally, we conduct empirical studies on Vicuna, analyzing different attack and defense strategies to provide valuable insights into their comparative effectiveness. To facilitate ongoing research and development in AI safety, AISafetyLab is publicly available at https://github.com/thu-coai/AISafetyLab, and we are committed to its continuous maintenance and improvement.