网警守护网络安全系列提醒之“ai生成内容安全”篇 -pa凯发国际

筑牢ai安全墙

网警护航守万家

净网有我 安全同行

人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。

当下生成式ai快速普及，给创作生活带来诸多便利，但ai造谣虚假合成等隐患丛生，请大家提高防范意识守住法律底线，依法安全文明使用ai工具，共护清朗网络。

一、经典案列

2026年2月，上海罗某为吸粉引流，利用ai生成“施工区地面塌陷”的虚假视频，在短视频平台传播，扰乱公共秩序。

网警通过细节违和、逻辑漏洞识破ai伪造内容，罗某最终被依法行政拘留。

二、识ai风险暗流

01/造假门槛降低

免费ai作图、视频生成工具普及，导致虚假内容生产成本降低，且生成的虚假内容传播速度快、影响范围广。

02/虚假内容难辨别

ai换脸、声音克隆技术等生成的视频内容相当逼真，导致虚假灾情、虚假事故等类型谣言难以分辨，易误导公众、带偏舆论。

03/监新规明确要求ai内容标注来源

服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的，应当按照下列要求对生成合成内容添加显式标识：

（一）在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识，或者在交互场景界面、文字周边添加显著的提示标识；

（二）在音频的起始、末尾或者中间适当位置添加语音提示或者音频节奏提示等标识，或者在交互场景界面中添加显著的提示标识；

（三）在图片的适当位置添加显著的提示标识；

（四）在视频起始画面和视频播放周边的适当位置添加显著的提示标识，可以在视频末尾和中间适当位置添加显著的提示标识；

（五）呈现虚拟场景时，在起始画面的适当位置添加显著的提示标识，可以在虚拟场景持续服务过程中的适当位置添加显著的提示标识；

（六）其他生成合成服务场景根据自身应用特点添加显著的提示标识。

服务提供者提供生成合成内容下载、复制、导出等功能时，应当确保文件中含有满足要求的显式标识。

04/自保自律双重需要

为了促进人工智能健康发展，规范人工智能生成合成内容标识，保护公民、法人和其他组织合法权益，维护社会公共利益，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局制定了《人工智能生成合成内容标识办法》。同时，我们也要学会识别ai造假，既能避免误导，也能防止自己无意中传播违法违规内容，守住法律底线。

三、守ai清朗之道

01/练就辨别能力

留意人物五官扭曲、动作僵硬、文字错乱等ai破绽。

02/规范使用ai工具

用户使用网络信息内容传播服务发布生成合成内容的，应当主动声明并使用服务提供者提供的标识功能进行标识。

任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或者服务，不得通过不正当标识手段损害他人合法权益。

03/保护个人信息

不随意在陌生ai平台上传照片、原声视频，防止被不法分子用于换脸、仿声。

04/核实多方信息

涉及灾害、事故等事件，以官方通报为准，不轻信、不转发来源不明的ai视频。

05/及时举报违规内容

遇到ai谣言等违法违规内容，立即向平台或网警举报，共同抵制网络乱象。

四、护网安 万家安

愿大家都能明辨虚实、文明用网，共建安全、有序的数字家园！

来源：公安部网安局