工信部：将推出 AI 换脸诈骗风险提醒功能，仅在手机端本地运

工信部：将推出 AI 换脸诈骗风险提醒功能，仅在手机端本地运行 AI 换脸被骗1.8 亿！普通人怎么才能识别 AI 作图的真假？， 

工信部：将推出 AI 换脸诈骗风险提醒功能，仅在手机端本地运行

IT之家 8 月 18 日消息，据央视网报道，AI 换脸诈骗检测与预警技术正在测试中。

工业和信息化部反诈工作专班专家李坤表示：“我们正在会同行业内的手机终端企业，将推出 AI 换脸诈骗风险提醒功能，这项功能仅在手机端来本地运行，能够有效保护用户数据不泄露。经过用户授权后，可为用户提供 AI 换脸诈骗风险预警提醒。”

当用 AI 换了脸的技术人员与记者发起视频通话时，测试手机终端提示“对方疑似假冒身份”。点击检测按钮，经过图像扫描，系统提示“AI 换脸合成概率 93%”。

IT之家了解到，AI 换脸主要是使用深度合成技术。《互联网信息服务深度合成管理规定》提出了算法备案、安全评估的手段，要求深度合成服务提供者对深度合成的内容添加显式或隐式水印。

中国信通院人工智能所安全与元宇宙部专家陈文弢称：“要对生成合成的内容去添加一些水印，这个水印的本质其实就是要一方面去提示公众这个内容是由 AI 生成或者合成的，另一方面也是要追溯它的来源。”


AI 换脸被骗1.8 亿！普通人怎么才能识别 AI 作图的真假？

从 2022 年底的 Midjourney、stable diffusion，再到 Open AI 的 Chat GPT、DALL·E，Sora，谷歌的 Gemini，AI 已经在写文章、画画、制作图片、视频等领域展现出了自己无与伦比的能力。

看着 AI 一次又一次展现出令人惊叹的本领，不知道你是否有过担忧，既然 AI 能够生成接近于真人的图片、视频，作为普通人的我们，以后还能分辨出一张图片或者一段视频是不是真实的吗？

这样的担忧不无道理。我们不妨做一个小测试，看看你是否能在下面的四张图片中，找到唯一一张真人照片？

生成这些图片的是“此人不存在”网站：thispersondoesnotexist.com

答案：四张照片中，只有第一张是真人照片，其余三张图片均为 AI 生成。

当然了，除了人像，AI 还能够生成各种各样的风景照片，以及本身就是用电脑制作的 CG 图片。而要分辨这些照片，对普通人来说就更加困难了。

但幸好，在大部分情况下，是否能分辨图片是不是出自 AI 之手，并不会对我们的生活产生实质性的影响。网络上的绝大部分图片，我们都是一看了之。

而近几年，也出现过一些用 AI 图片制作的假新闻。

AI 生成的特朗普被捕图，图片截取自 X（原推特）

这些假新闻虽然大部分是恶作剧，但如果这样的假新闻充斥网络，可能会让人们对新闻事件的可信度产生怀疑。毕竟，眼见都不一定为实了，那我们怎么知道哪些是真的，哪些是假的？

AI 生成的图片“马斯克与机器人女友”，图片截取自X（原推特）

如何分辨图片“真假”？

既然网络上的图片真假混杂，我们到底要怎样判断一张图片是否是由 AI 生成的？其实，有一些简单的方法可以帮助我们判断。

1、利用常识寻找不合常理之处

最直接有效的方法，就是利用我们的“常识”。

在过去一两年里，AI 图片生成的人类手部特征一直是被吐槽的焦点。虽然一些模型比如 Midjourney V5，Stable Diffusion 针对手部进行了一些优化，但如果观察 AI 假新闻中的图片，依然会发现一些“奇怪的手部”。

利用 GPT4.0 的 DALL·E 绘制的手，依然能看出“不合理”的手部特征

除了手部会露出破绽，AI 生成的图片也可能会出现一些不合常识的错误。

比如还是前面提到的“特朗普被捕图”中，就有几处奇怪的地方。

AI 生成图片中不合逻辑之处

首先，特朗普的身后出现了一个朝向奇怪的且不属于任何人的脚。另外，特朗普的左臂扭曲成了不正常的形状。而身后的路人面对这样“重大”的事件，表情漠不关心，而追逐的警察们，似乎眼睛关注的焦点也不在特朗普身上。

因此，人类世界的常识以及我们对物理世界的了解，是我们识别 AI 图片的巨大武器。如果图片中出现了一些违背常识和物理规律的细节，那基本可以认定这是一张 AI 生成的图片。

2、查询图片来源

但有些图片的常识性错误隐藏在很细节的地方，乍一看不太容易分辨。对这一类图片，同样有一个简单的判断方法。

现在的搜索引擎都有“图片查询”功能，不少在线网站也可以提供类似的功能。你可以直接将“可疑图片”上传。通过“查找图片来源”，就能找到发布过这张图片的网站。

假如对于一个非常重大的新闻事件，发布媒体却无一例外地是个人媒体或者营销号，那么这张图片大概率是假的。如果有可靠媒体发布过，并且报道的内容也证实了图片内容，那这样的图片才可能是真的。

现有网站和图片来源查询工具可以直接搜索图片来源，图片截取自网络

3、借助识别网站

目前，有很多网站可以直接查询图片的 EXIF 信息（记录着相机的镜头、光圈、快门等参数）。

假如别人向你发来了一张图片炫耀自己的假期或者是摄影技术，你可以直接将图片上传查询。

如果能够看到相机参数，那这张图片大概率是真实的，至少说明确实是用相机拍摄的。而如果没有这些信息，有可能是 AI 生成，但也有可能是经过了压缩处理的图片。

除此之外，还有专门的识别 AI 图片的网站，比如“AI or not 网站”。这些网站也可以识别给定的图片是 AI 生成的还是人类创作的，虽然不是百分之百准确，但可以作为一个参考。

AI or not 对于两张图片的判断结果，图片截取自AI or not网站

当然了，对于大部分的新闻事件，热度很快就会过去，并不会对普通人的生活产生实质性的影响。但接下来要提到的“深度伪造”技术，是会对每一个人产生直接影响的。

当心！AI骗局：深度伪造

深度伪造（deepfake）是一个由深度学习（deep learning）和伪造（fake）合成的词。它的意思很好理解，就是利用深度学习技术来伪造一些图片、视频，这类图片和视频一般以人类为主体。

其实早在 GPT、midjourney 之类的 AI 工具出现之前，深度伪造技术就已经出现了。它最典型的一个应用，就是 AI 换脸。

在 2019 年，古装剧《长安十二时辰》里的“崔六郎”角色，就经过了 AI 换脸。另外，在 2020 年的《三千杀鸦》《了不起的儿科医生》等影视剧中，也使用了 AI 换脸技术。

而最近的“短剧出海”，深度伪造技术也发挥了重要作用，利用 AI 换脸技术，一键就可以把中国人面孔换成外国人面孔，免去了翻拍的成本。

出海短剧一键换脸，图片截取自 X（原推特）

现在一些 AI 换脸工具，甚至可以根据一张照片完成面部替换。

这些技术既可以用于平时的娱乐，也可以用于商业行为中，比如制作主播的数字人替身，实现 24 小时无间断直播卖货。

但如果深度伪造技术到了不法分子的手中，可能会成为他们做坏事的工具。

比如，骗子可以利用在网络上收集到的图片，制作 AI 换脸视频，利用这样的视频进行诈骗。

今年年初，中国香港的警方就接到一起报案，骗子通过 AI 换脸冒充某公司的首席财务官，要求公司财务转账 2 亿港币（约合人民币 1.8 亿元），公司财务转账之后几天，才意识到上当受骗了。

除此之外，还有骗子利用 AI 换脸，冒充被害人的朋友、儿女、父母等角色，对人实施诈骗。而在视频中看到自己亲朋好友的画面，会让受害人放下戒心。

当坏人掌握了深度伪造技术，就实实在在地会对普通人的生活产生影响，任何人都有可能成为受骗者。

面对深度伪造内容我们该怎么办？

那究竟要如何甄别深度伪造内容？对此，AI 机构和个人都有可以做的事情。

1、对于 AI 公司

AI 机构也在努力减少深度伪造技术滥用。

在一些图片生成模型的使用过程中，比如 Open AI 的 DALL·E 模型中，你是没有办法让 AI 对某张具体照片进行处理的，也没有办法生成特定的人脸内容。

大部分的 AI 生成模型都会屏蔽特殊的词汇，以防止模型被用来生成恶意的图片或者视频。比如在“特朗普被捕”的假新闻图片泛滥之后，Midjourney 禁止了 arrest（被捕）这个词的使用。

另外，大部分机构包括 Open AI、Meta、midjourney 等等，都会在生成的图像数据中添加水印，而正规的提供 AI 换脸的机构，也会在视频里内嵌水印，和真人视频做区别。

当然了，不法分子在利益的驱使下，会绞尽脑汁去掉伪造痕迹。他们的目的就是让人认为，这些图片视频是真的。

因此对每一个人来说，我们也需要了解一些防范方法。

2、对于个人

对于我们普通人来说，我们手中不太可能有专门的鉴别软件，也不太可能逐帧去分析画面中的破绽，但依然有一些简单方法可以帮助我们分析判断。

比如，因为有一些 AI 换脸视频是犯罪分子提前制作的。

如果视频里的人提到了让你转钱，你可以要求视频里的人做一些特定的动作，比如转个身，以及用手在摄像头前面停留一会、挥一挥。

通过这种方法，既可以分辨对方是不是一个提前录制好的视频，同时，手在脸前面晃动也会对一些简单的 AI 换脸工具进行干扰，“假人”可能会露出破绽。

除此之外，你也可以让对方回答一些只有你们才知道的消息，比如“你们最后一次见面是在哪里？”或者明知道对方没有孩子，也故意问一问对方孩子的消息，看看是不是骗子冒充的。

毕竟，对方已经提到让你转钱了，让对方做几个动作回答几个问题验证身份也并不过分。而自己的钱袋子，当然要自己守护好。

此外，大家可以牢记公安部提到的，防诈骗“六个一律”“八个凡是”原则。

“六个一律”

1、谈到银行卡，一律挂断；

2、谈到中奖了，一律挂断；

3、谈到“电话转接公检法”要求汇款的，一律挂断；

4、所有短信，让你点击链接的，一律删掉；

5、微信陌生人发来的链接，一律不点；

6、提到“安全账户”的，一律是诈骗。

“八个凡是”

1、凡是自称公检法要求汇款的；

2、凡是让你汇款到“安全账户”的；

3、凡是通知中奖、领奖要你先交钱的；

4、凡是通知“家属”出事要先汇款的；

5、凡是在电话中索要银行卡信息及验证码的；

6、凡是让你开通网银接受检查的；

7、凡是自称领导要求汇款的；

8、凡是陌生网站要登记银行卡信息的。

参考文献

[1]https://thispersondoesnotexist.com/

[2]http://www.news.cn/legal/20240226/da985bba58bf4ea2a65b872d06aec6a5/c.html

[3]https://www.scientificamerican.com/article/how-to-tell-if-a-photo-is-an-ai-generated-fake/

[4]https://about.fb.com/news/2024/02/labeling-ai-generated-images-on-facebook-instagram-and-threads/

[5]https://www.aiornot.com/

策划制作

作者丨小玮 科普创作者

审核丨于旸 腾讯玄武实验室负责人

策划丨王梦如

责编丨王梦如

校对丨徐来 林林