Исследование влияния методов квантования на безопасность и надежность больших языковых моделей

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

Авторы: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

Аннотация

Большие языковые модели (LLM) стали мощным инструментом для решения современных задач и обеспечения практических применений. Однако их вычислительные затраты остаются значительным барьером для широкого принятия. Квантование выделяется как многообещающая техника для демократизации доступа и обеспечения развертывания на устройствах с ограниченными ресурсами. Несмотря на эти достижения, безопасность и надежность квантованных моделей остаются малоизученными, поскольку предыдущие исследования часто игнорируют современные архитектуры и полагаются на чрезмерно упрощенные бенчмарки и оценки. Для заполнения этого пробела мы представляем OpenSafetyMini, новый набор данных по безопасности, разработанный для более точного различения моделей. Мы оцениваем 4 передовые техники квантования на моделях LLaMA и Mistral с использованием 4 бенчмарков, включая оценки человека. Наши результаты показывают, что оптимальный метод квантования варьируется для 4-битной точности, в то время как техники векторного квантования обеспечивают лучшую производительность по безопасности и надежности на 2-битной точности, что является основой для будущих исследований.

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.