改写提示词、设置角色卡，对大模型实施 “越狱”，把通用 AI 改造成淫秽内容生产工具，以此收费牟利。浙江余姚法院审结这起生成式人工智能涉黄刑事案件，厘清 AI 时代何为刑法意义上 “制作淫秽物品”，也给整个 AI 行业划下不可逾越的刑事红线。

大模型自带安全防护，本是防范不良信息的闸门。但有人动起歪心思，利用技术手段突破安全围栏，把 AI 变成批量产出淫秽内容的牟利机器。

近日，浙江省余姚市人民法院宣判一起利用生成式人工智能制作淫秽物品牟利案。曾任职游戏公司的程序员郑某，牵头组建团队，通过改写系统提示词实现 AI 模型 “越狱”、配置角色卡、搭建诱导对话场景等技术操作，为用户生成淫秽内容创造全套技术条件。法院最终认定郑某等六人构成制作淫秽物品牟利罪，一审判决生效，六人均领到刑事处罚。

从技术脑洞到犯罪：

把 AI 改造为 “造黄工具”

郑某具备 AI 相关技术背景，还有海外深造经历。2024 年 7 月，在接触境外 AI 色聊机器人之后，他萌生开发同类产品非法赚钱的想法。

随后，郑某邀约前同事以及网络结识的人员，一共六人组建研发团队。经过调试开发，2025 年 1 月，这款被篡改过安全机制的 AI 模型正式在境外平台上线。为了方便收钱，团队接入第四方支付、虚拟货币等多种付费渠道向用户收费。

正常商用大模型都内置安全过滤机制，会主动拦截色情、暴力等违法内容。但该团队使用提示词工程，反复修改系统底层提示词，设置色情向角色卡，预设对话场景，强行 “越狱” 突破模型原生安全防护。

用户充值付费之后，即可挑选角色，和 AI 机器人开展色情对话；消耗积分还能够生成静态、动态淫秽图片。

公安机关后续侦查查明，这款 AI 运营期间，累计生成静态图片 37 万余张、动态图片 6000 余张；用户充值折合人民币约 17 万元。经过司法鉴定，抽样以及全量送检材料中，九千余张静态图、五千余张动态图被认定属于淫秽物品。2025 年 7 月警方发现线索立案，两个月内，郑某全部团伙成员被抓捕归案央视新闻。

核心争议：

AI 产出淫秽内容

到底谁是 “制作者”？

本案最关键的法律难题摆在法庭面前：内容是 AI 输出，表面看是用户下达指令，那开发者算不算刑法意义上 “制作淫秽物品”？

庭审阶段，被告人一方提出辩解：淫秽聊天、图片，是用户选择角色、输入指令才产生，责任应当归于使用产品的用户。

对此，承办法官作出清晰说理：

大模型本身是中立工具，但本案被告人并非简单使用现成 AI。他们主动修改底层提示词，搭建整套技术框架，把通用大模型改造为专门生产淫秽内容的系统。用户所有操作，都被限制在被告人预先设置好的框架之内。开发者对内容输出拥有实质性控制，淫秽物品的生成，和团队技术篡改行为具备刑法上直接因果关系。

简言之：即便由 AI 生成内容，只要是人主动搭建出专门生产违禁内容的技术环境，就属于刑法规定的 “制作淫秽物品” 行为。

法院审理认为，郑某等六人以牟利为目的，结伙利用人工智能技术制作淫秽物品，属于情节严重，全部构成制作淫秽物品牟利罪。结合各人犯罪事实、悔罪表现、社会危害性，六人分别被判处三年一个月至三年十个月不等有期徒刑，并处罚金。一审宣判后全部被告人没有上诉，判决现已发生法律效力。

司法信号：

技术中立，绝非违法犯罪挡箭牌

“技术中立不等于技术无罪。” 这是本案传递出最重要裁判观点。

很多技术从业者存在误区：代码、模型是中立的，产生什么后果是使用者的事。但司法裁判明确否定该逻辑：不能以内容由 AI 生成，就直接免除开发者刑事责任。

如果开发者主动破坏安全机制，刻意搭建便于产出淫秽信息的技术环境，对违法结果具备实质控制力，那么即便内容是应客户、用户需求而生成，开发者依然属于淫秽物品的 “制作者”，必须承担刑事责任。

同时法官也提示 AI 犯罪量刑的特殊难点：AI 具备一键批量生成的特点，产出数量极易指数级暴涨。审理此类案件不能机械照搬传统案件标准。司法实践会综合评估传播范围、现实危害，区分批量公开生成传播、一对一私密交互等不同情形；既从严打击大规模扩散违禁内容的行为，也会对技术特性带来的数量虚高问题合理考量，实现罪责刑相适应。

宁波市中级人民法院相关庭长提示广大生成式 AI 服务从业者：商业利益追求不能凌驾法律底线与科技伦理之上。任何通过技术手段规避监管、触碰法律红线的行为，必将被依法惩处。算法，绝不是法外之地。

值得一提的是，就在本案宣判前不久，9 月 7 日**人民法院正式发布《关于依法审理涉人工智能纠纷案件的意见》，其中明确：利用深度伪造、生成式 AI 实施制作、贩卖、传播淫秽物品等行为，一旦构成犯罪，坚决依法追究刑事责任。

结语

AI 快速迭代带来生产力飞跃，同时也不断衍生新型违法犯罪模式。过去制作淫秽物品，离不开人工绘图、剪辑；如今通过篡改提示词，就可以实现自动化、大批量产出。

本案的判决，为 AI 开发者、服务商划清了行为边界：

工具可以中立，但人的行为有对错。不能利用技术漏洞钻法律空子，主动改造 AI 去生产违禁内容，看似是技术创新，实则已经踏入刑事犯罪泥潭。对于行业来说，守住安全过滤义务，不仅是产品合规要求，更是不可忽视的刑事风险。

本文根据央视新闻公开报道整理，仅供普法参考，不构成法律意见。

文字  |   顾然安

图片  |  浙江省宁波市中级人民法院 浙江省余姚市人民法院