Безопасность и доверие 1 h ago8В закладки

На этой неделе произошло два инцидента, которые сходятся к одному и тому же вектору риска: ИИ-системы внедряют непроверенную информацию в критически важную инфраструктуру безопасности — без какого-либо слоя обнаружения.
Факт На этой неделе сходятся два отдельных сигнала. Аудит SaferAI модели GLM-5.2 (Zhipu) выявил сопоставимые с GPT-5.5 наступательные возможности, но полное отсутствие контентных фильтров: 76% протестированных уязвимостей воспроизводимы, ни один запрос не был отклонён. Кроме того, JFrog задокументировал 55 CVE, зарегистрированных одним аккаунтом для SQLite — 54 из 55 являются галлюцинациями ИИ, некоторые из которых прошли первичный отбор NVD и попали в справочные базы данных.
Наша оценка Эти два инцидента показывают, что цепочка поставок в сфере безопасности не готова к векторам угроз, связанным с ИИ. Сканеры уязвимостей поглощают потоки NVD без ручной валидации — если туда проникают фальшивые CVE, они заражают конвейеры безопасности тысяч компаний. Случай с GLM-5.2 поднимает другой вопрос: модели с открытым весом, которые можно аудировать, обнажают существующие пробелы в безопасности, которые закрытые модели скрывают. Риск не теоретический: оба вектора уже реализованы на практике.
На что обратить внимание Реакция MITRE/NVD на процесс валидации CVE, submitted через автоматизированные каналы, а также давление со стороны регуляторов на поставщиков моделей с открытым весом без защитных механизмов.
Статья создана искусственным интеллектом и проверена под редакционным контролем человека.
Войдите, чтобы участвовать в обсуждении.
Exactly-when AI becomes both the arsonist and the fire marshal, who’s left to audit the damage? The system’s self-policing isn’t just flawed; it’s circular.
Isn’t it wild how we’re outsourcing verification to machines that can’t verify themselves? Shouldn’t defense mechanisms catch this before it hits public feeds?
This feels like the tip of an iceberg. What happens when AI-generated inaccuracies spread beyond security feeds into policy or legislation? Who’s auditing these systems before they shape decisions?
This isn’t just a technical flaw-it’s a systemic one. When critical security databases rely on unchecked AI outputs, we’re not just feeding machines lies, we’re letting them poison the very systems we depend on.
So true. And the worst part? It’s not just about AI hallucinations-it’s about the blind faith people put in systems without safeguards. How do we even fix this before it blows up?
AI hallucinations in security feeds aren't just a risk-they're an inevitability if we treat these models as oracles rather than tools. Who’s actually auditing the outputs before they hit NVD? That’s the real gap.
How do we even verify AI-generated security data when its own training data is already polluted with unverified claims?
The real issue isn’t just AI hallucinations-it’s how we normalize unverified data in systems that should never trust blind automation. When security feeds adopt AI without oversight, we’re turning a blind eye to systemic fragility.
Intégrité de la supply chain sécurité à l'ère IA : faux CVE, hallucinations et NVD