浙江余姚破获利用AI制作淫秽物品案

9月15日，2026年国家网络安全宣传周披露一种名为“提示词注入”的AI攻击方式，仅用一句话、一个文件或一张图片即可诱导大模型执行恶意指令，突破安全限制。此类攻击可导致个人隐私、账号信息及企业核心数据泄露。

恶意指令能隐藏在网页、邮件、文档或数据库中，被AI读取后当作正常任务处理。攻击手段包括直接诱导、预埋指令、多轮对话引导和改写指令绕过过滤。企业部署私有大模型时若未设置安全防护，风险更高。防范措施需包括权限控制、异常指令识别、操作日志留存和敏感数据访问审计。

利用该技术突破AI安全机制已出现判刑案例。浙江余姚警方于2025年7月侦破一起生成式AI制作淫秽物品案，抓获郑某等6人。郑某原为游戏公司程序员，2024年7月起策划开发色情聊天AI，2025年1月在境外平台上线涉案模型，通过修改系统提示词和设定色情场景绕过内容过滤。

用户付费后可进行色情对话并生成淫秽图片，累计生成静态图片37万多张、动态图片6000多张，充值金额约2.4万美元，折合人民币约17万元。经鉴定，抽样中9000多张静态图片和5000多张动态图片属淫秽物品。