Verbotene Wissenschaft: Dual-Use KI-Herausforderungsbenchmark und wissenschaftliche Ablehnungstests

Forbidden Science: Dual-Use AI Challenge Benchmark and Scientific Refusal Tests

February 8, 2025

Autoren: David Noever, Forrest McKee

cs.AI

Zusammenfassung

Die Entwicklung robuster Sicherheitsmaßstäbe für große Sprachmodelle erfordert offene, reproduzierbare Datensätze, die sowohl die angemessene Ablehnung schädlicher Inhalte als auch mögliche Überbeschränkungen legitimer wissenschaftlicher Diskurse messen können. Wir präsentieren einen Open-Source-Datensatz und ein Testframework zur Bewertung von Sicherheitsmechanismen von LLM hauptsächlich für kontrollierte Substanzanfragen, analysieren die Reaktionen von vier Hauptmodellen auf systematisch variierte Aufforderungen. Unsere Ergebnisse zeigen unterschiedliche Sicherheitsprofile: Claude-3.5-Sonett zeigte den konservativsten Ansatz mit 73 % Ablehnungen und 27 % Zulassungen, während Mistral versuchte, 100 % der Anfragen zu beantworten. GPT-3.5-Turbo zeigte eine moderate Einschränkung mit 10 % Ablehnungen und 90 % Zulassungen, und Grok-2 registrierte 20 % Ablehnungen und 80 % Zulassungen. Testen von Strategien zur Variation der Aufforderungen zeigte eine abnehmende Antwortkonsistenz, von 85 % bei einzelnen Aufforderungen auf 65 % bei fünf Variationen. Dieser öffentlich verfügbare Maßstab ermöglicht eine systematische Bewertung des kritischen Gleichgewichts zwischen notwendigen Sicherheitsbeschränkungen und potenzieller Überzensur legitimer wissenschaftlicher Untersuchungen und bildet eine Grundlage zur Messung des Fortschritts bei der Implementierung von KI-Sicherheit. Die Analyse von Gedankengängen zeigt potenzielle Schwachstellen in Sicherheitsmechanismen auf und verdeutlicht die Komplexität der Implementierung robuster Schutzmaßnahmen, ohne wünschenswerte und gültige wissenschaftliche Diskurse unangemessen einzuschränken.

English

The development of robust safety benchmarks for large language models requires open, reproducible datasets that can measure both appropriate refusal of harmful content and potential over-restriction of legitimate scientific discourse. We present an open-source dataset and testing framework for evaluating LLM safety mechanisms across mainly controlled substance queries, analyzing four major models' responses to systematically varied prompts. Our results reveal distinct safety profiles: Claude-3.5-sonnet demonstrated the most conservative approach with 73% refusals and 27% allowances, while Mistral attempted to answer 100% of queries. GPT-3.5-turbo showed moderate restriction with 10% refusals and 90% allowances, and Grok-2 registered 20% refusals and 80% allowances. Testing prompt variation strategies revealed decreasing response consistency, from 85% with single prompts to 65% with five variations. This publicly available benchmark enables systematic evaluation of the critical balance between necessary safety restrictions and potential over-censorship of legitimate scientific inquiry, while providing a foundation for measuring progress in AI safety implementation. Chain-of-thought analysis reveals potential vulnerabilities in safety mechanisms, highlighting the complexity of implementing robust safeguards without unduly restricting desirable and valid scientific discourse.