作者丨刘杨楠

编辑丨海腰

图源丨Facebook

从前段时间的“三只羊”录音事件到“AI雷军”，AI的阴暗面再次引起热议。

如今，“三只羊”事件水落石出，AI雷军骂人的视频也几乎已被清理完毕，但大量AI生成的真假难辨、颇具魔幻现实主义的内容却是春风吹又生。

很多人都发现，抖音、快手、小红书等平台上的“抽象”内容越来越多，很多甚至已经违反了自然规律和常识，有些内容更是在道德和法律红线上反复横跳。然而，在时长仅数秒的短视频里，屏幕前的我们通常来不及反应其是真是假，就已经顺手划到了下一段视频，或随手转发给一起搞抽象的朋友们。

在这个过程中，一个老生常谈的问题又出现了——质量参差不齐的AI生成内容病毒病毒式扩散，互联网似乎难逃“劣币驱逐良币”的宿命。

诡异的AIGC

今天的互联网上，“眼见”和“耳听”都不一定为实。AI加持下，劣质内容已经变着花样深入互联网世界。

比如近期，在Facebook上搜索“虾耶稣”，就会看到数十张类似下图的诡异组合。

此外，Facebook上还流传着大量诡异图片：多头、巨胸的“农场女孩”；在泥泞的河流中跋涉的女乘务员又或是截肢乞丐举着牌子上写着“今天是我的生日”。

类似的内容在国内平台也很常见，比如这条“悟空”冲出电视搂着奶奶，骑着电视柜变的电动二轮潇洒离去，只留“八戒”在画面里无所适从的视频。

在生成式AI加持下，Deepfake已经进化到全新的阶段。

深度学习技术出现后，Deepfake便成为互联网内容世界的主流“病毒”。

其雏形最早可追溯至在上世纪90年代，当时的研究人员尝试使用CGI（Computer Generated Imagery / 计算机生成图像）创建逼真的人像。但由于技术不成熟，社交网络也不发达，这些图像并未引起太大社会关注。

直到2014年，深度学习技术来到一个关键转折点。Ian Goodfellow及其团队引入了称为生成对抗网络 (GAN) 的机器学习概念。GAN可用于生成逼真的数据，增强现有数据集，以及进行图像、语音等多种类型的数据转换和风格迁移。

Goodfellow团队首次提出后，其他团队也在陆续改进GAN。2017年，英伟达的研究人员开发出了“分阶段训练网络”（Progressive GANs），这种技术能够生成高分辨率的人脸图像。

正是这种功能被不当使用，催生了病毒一般的Deepfake风潮。同年，一位名为“deepfakes”的Reddit用户开始用GAN制作情色视频，足以以假乱真。此后，基于GAN生成或操纵音视频的内容造假事件，都被统称为“Deepfake”。

今天，生成式AI让互联网上的Deepfake内容越来越隐蔽，生产成本也越来越低。例如在“三只羊”录音事件与恶搞雷军的AI视频中，网友只需在言域科技的Reecho睿声平台上传5～8s语音素材，即可体验免费的声音克隆服务；支付198元即可解锁专业级声音克隆。

低成本，高效率的生产模式，已经让一群人靠着AI生成内容的副业赚得盆满钵满。

最近，外媒Intelligencer报道称，YouTube、TikTok上，很多创作者在视频中教粉丝们如何用ChatGPT开展副业。

对于催生这种现象的原因，Intelligencer分析称，像Facebook和TikTok这样的网站对内容的需求几乎是无限的、不加选择的，它们需要吸引用户的诱饵和广告商的地盘；另一方面，像ChatGPT、Midjourney等生成式AI应用在投资人的大量资金支持下，将产品低成本或免费提供给消费者，以获取更多用户。

而在这些大平台数十亿的生意往来中，就藏着普通人的财富密码。例如用AI生成一些食谱书，在亚马逊上卖给不知情的顾客，或是建立一个由大语言模型生成文章的网站，拉一些广告主简单包装，并试图让它们在谷歌新闻上排名很高。

今年6月，国内一位男性互联网大厂技术员便运用AI技术中的“一键去衣”功能，生成近7000张不良图片，每张1.5元卖出，获取了近1万元非法收益。

此外，一种更便捷、更直接的方式是，用类似“虾耶稣”这类堆叠敏感元素的粗糙内容收割流量，从而获得平台奖金。

对于明显的犯罪内容，法律能够约束，但对于一些画风诡异，不触犯法律却令人不适的AI内容，人们只能寄希望于平台能够出手管一管。

平台的反击

“AI雷军”热度暴涨后，抖音快速清理了相关视频。

一键删除无疑是平台治理违规内容最有效的手段。但这种方法往往有滞后性，平台采取行动时，相关内容产生的负面影响可能已经一发不可收拾。

长期来看，内容平台们也试图用一些监管和技术手段，更及时地预防、检测并处理隐患。

以抖音为例，很多“AI雷军”骂人视频和画风诡异的视频下方都有一行小字：“疑似使用了AI生成技术，请谨慎甄别。”

其实从去年开始，抖音便发布了一系列文件，包括《抖音关于人工智能生成内容标识的水印与元数据规范》《关于人工智能生成内容的平台规范暨行业倡议》《 AI生成虚拟人物治理公告》，全方位围堵AI生成的违法内容。

目前，国内很多平台都针对AIGC内容出台了相应的监管规范。除抖音外，B站、抖音、快手、微信公众号、小红书等平台均在去年就发布相应规范，要求创作者对AI创作内容做出显著标识。

今年9月14日，国家网信办也正式发布了《人工智能生成合成内容标识办法（征求意见稿）》（下称《标识办法》），拟细化网络平台和用户的AI内容标识义务，避免公众混淆误解。其中要求提供生成合成服务的网络信息服务提供者，如果提供相关法规提及的深度合成服务类型，必须对生成合成内容添加显式标识和不易被用户明显感知到的隐式标识。

然而，要让数以亿计的创作者主动约束自身行为，无疑比登天还难。更何况，很多时候创作者很难精准预判内容发布后的传播走向，很可能在无意中就走向了风口浪尖。

因此，一种不依赖于广大用户主观能动性的手段被频繁提起，即“用AI检测AI”。

2024年9月，YouTube便在一篇博客中透露，正在开发新工具来保护艺术家和创作者，能够使创作者、演员、音乐家、运动员等任何人都可以检测YouTube上关于自己的AI生成内容，并对其进行管理。

YouTube还在开发Content ID的新技术，将允许艺术家和音乐家发现和管理模仿他们歌声的AI 生成内容。目前，YouTube的合作伙伴正在完善这项技术，并计划于明年初推出一项试点计划。

Facebook官网上也有关于AI配合内容审查的操作，官网博客写道：“人工智能团队首先会构建一个机器学习模型，该模型可执行识别照片中的具体内容或分析帖子文本等操作。例如，他们可以构建人工智能模型，并利用此模型了解某项内容中是否包含裸露内容或血腥内容。然后，这些模型可以确定是否需要对相应内容采取操作，例如将其从平台中移除或减少其传播。”

今年2月，Meta（Facebook的母公司）也透露已经开始在Facebook、Instagram和Threads上标记使用人工智能工具创建的图像，并对不披露AI生成视频或音频的用户进行惩罚。

但相比之下，国内平台对于AI生成虚假内容的检测似乎并没有太多主动措施。此前也有业内人士对媒体表示，出于自身成本及监管力度等综合原因，目前互联网平台对AI伪造内容的管理意愿还不高。而现在对于发布者没有主动标识的AI生成内容，平台并不会自动检测。

毕竟，在这场AIGC的角逐中，大厂们都还是竞技场中的主要玩家，更多的精力还投入在如何将新技术融入自身业务体系上。

例如去年9月，B站多媒体实验室算法负责人成超便在访谈中表示：“我们正在采用AI换脸制作个性化的直播虚拟礼物”，“采用AI换脸，我们能够整体替换掉主播人脸建模这一生产环节，并且AI换脸所渲染出来的微表情、妆容甚至比建模还具有真实感。完整的个性化礼物制作周期与成本也被极大地压缩，在同样资源条件下，我们能够为用户提供更多更有意思的玩法和内容。”

AIGC正在“摧毁”AI？

对于这些互联网上疯狂弥漫的AI生成内容，很多声音担心AI会快速污染互联网内容生态。

事实上，这已经在发生。亚马逊研究人员今年6月发布的一项研究结果显示，目前已有57%的网络内容都由AI生成。

由此带来的问题是，当AI生成的劣质内容越来越多，模型训练厂商抓取公开数据训练模型时，AI生成劣质内容的含量也越来越高，无形之中就可能让模型误入歧途。

近期已有国外研究团队发现，AI生成内容不仅在加速互联网崩塌，甚至还有“自我摧毁”的风险。

今年8月，牛津大学的Ilia Shumailov博士和研究团队在《Nature》上发表研究发现，当生成式人工智能软件仅仅依赖于AI生成的内容训练时，最终表现就会开始下降。

这项研究中的一个案例是，研究人员用一个模型来学习识别不同品种的狗，每一次问答之后，都将模型自己生成的答案作为新的数据投入模型训练，多个回合后，模型开始表现出一种难以解释的“偏见”——在模型生成的答案中，金毛等更常见的品种出现频次越来越高，而相对小众的品种逐渐被排除在外。

图源：福布斯

研究人员将这种现象称为“模型崩溃”，即AI生成内容不断污染模型训练数据集，最终会导致模型对现实世界的理解能力直线下降，生成大量扭曲现实的劣质内容。

目前研究人员还无法解释为什么会出现“模型崩溃”现象，但由此得出的结论是，人工智能长期可持续发展的唯一途径，是确保其能够持续获取人类生成的原始数据。

而另一方面，已有的人类生成内容也正在互联网上消失。皮尤研究中心的最新分析显示，截至2023年10月，2013年至2023年期间存在的所有网页中，已有四分之一无法再访问。

这便形成了一个悖论：AI需要人类提供源源不断的原始数据，但人类生成的内容正在逐渐消失，AI生成内容却在互联网上病毒式扩散。

当然，随着模型性能不断提升，模型生成内容将越来越接近现实世界，这项研究的结论或许终将被推翻，但这些模糊了真与假、虚拟与现实边界的内容所带来的影响，或许是不可逆的。

这种影响可能并非是一场惊天动地的“内容革命”，而是无形之中启动的“蝴蝶效应”，将所有人推向一个混沌的超现实世界，没有人能置身事外。