2025 年某个项目的内容安全年报

公司运营一个比较热门的小众社区 直观规模是: 静态资源 CDN 每月 35 亿次 HTTPS 请求数

所有用户为强实名, 初期允许微信登陆或者手机号登陆, 纯微信登陆到一定门槛要求验证手机.

该社区允许用户自己发布帖子

该社区允许用户上传图片, 包含: 自己的头像, 随发布内容附图

上传图片直传阿里云 OSS, 调用阿里云的安全引擎扫描用户上传的图片

系统不允许上传文章截长图, 识别到图片内文字超过一定量, 直接触发绕过监管账号永封

上传文字系统接入一个自有的非常小的模型分析大致语义, 进行提炼, 对内容安全进行初步预警, 预警内容推送审核员工作台进行人工审核, 以便内容安全合规

2025 年全年, 共计发生文字性内容预警 29 次, 均为涉政, 其中 24 次为正常讨论涉及国家或者地方政策, 包含抱怨, 不属于恶意, 予以通过. 其中 5 次予以删除.

2025 年全年, 共计发生上传图片直接阿里云风险预警强制删除 379xxx 次, 其中 201XXX 次为涉黄, 1XXX 次为涉血腥暴力, 其余为涉政.

2025 年上半年, 共计发生图片上传时阿里云未预警内容违法违规, 经过至少 14 天后, cdn 侧频繁访问复审报图片违法 7x 次

2025 年下半年, 共计发生图片上传时阿里云未预警内容违法违规, 经过至少 14 天后, cdn 侧频繁访问复审报图片违法 19xx 次

复审图片违法 100%为 政治人物隐喻

出现这类违法, 账号一律永封, 且公司一律报网警.

数据表明, 2025 年下半年以后, 天天有人创造出新的涉政梗图并刻意大肆传播, 即使没人关注(小众社区, 连黄图都没人发没人看, 很多扫描涉黄的只是单纯的一些梗图而不是刻意分享黄图). 严重怀疑 ai 生成技术泛滥导致的可以很容易创造新的梗图, 代表就是各种维尼熊