虎嗅 2024年11月15日
AI 最可怕的不是取代人类,是已经让我们不相信看到的是真照片
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

随着AI生成图像技术的快速发展,其逼真度不断提升,导致真假难辨,引发了信任危机。文章探讨了AI生成图像在社交媒体和新闻传播中带来的挑战,例如虚假信息传播、市场恐慌和非法内容泛滥等问题。同时,文章也分析了平台和用户面对AI生成图像的应对策略,如“一律打成AI”的策略及其潜在风险,以及如何平衡打击虚假信息与避免误判真实事件之间的关系。最终,文章引发了人们对互联网信任与信息安全问题的思考,强调在信息爆炸时代,保持理性判断和批判性思维的重要性。

🤔 **AI生成图像的逼真度不断提升,导致真假难辨,引发信任危机。**例如,西班牙暴雨照片和救生衣女孩照片都曾被误认为是AI生成,引发了人们对真实性的质疑。

⚠️ **AI生成图像被恶意利用,传播虚假信息,引发市场恐慌。**例如,西安爆炸事件和五角大楼爆炸照片都是AI生成的虚假信息,造成了一定的社会影响和经济损失。

💰 **平台利用AI生成内容吸引流量,导致虚假信息泛滥。**Meta等平台通过奖励机制鼓励AI生成内容,但同时也增加了虚假信息传播的风险。

🚫 **“一律打成AI”的策略在打击虚假信息的同时,也存在误判真实事件的风险。**过度依赖AI识别可能导致真实事件被忽略,错过干预机会。

🌍 **AI生成非法内容,如儿童色情图片和Deepfake视频,对社会造成严重危害。**这些内容难以识别,给执法部门带来巨大挑战。

观察下面这张图片,你认为这是真实拍摄的,还是AI生成?

看着是有点可疑,比如有一些汽车的车门、堆起来的样子,好像是拼接起来的。

那下面这两张呢?

如果不仔细查证,你可能有点不信:它们全都是拍摄出来的“真照片”。

‍关注AI第一新媒体,率先获取AI前沿资讯和洞察‍

十月底开始,西班牙瓦伦西亚地区经历特大暴雨,一天的降雨量相当于一年,还下得连绵不断。

而瓦伦西亚地区,街道有很多斜坡,这么大的水量完全可以让汽车浮起来,并且沿着斜坡一路往下。最后当洪水退去,就出现了最开始的照片中的景象。

可是在面对这些照片的时候,很多人的反应是:AI做的吧,假新闻。

也不能说这些人不讲理,确实也是被骗到过。之前美国佛罗里达州被飓风袭击,一张穿救生衣的小女孩。在救生艇上抱着小狗流眼泪的图片,就横扫了社交网络。

仔细看的话,这张图比上面的暴雨图“AI味”更重,从手指细节,到身体姿势,都有种说不出的怪异。

果不其然,原帖的帖主也并不知道这张图是从哪儿来的,发出来只是为了表达自己对受灾人民的同情。

现在,平台已经补充了背景信息,强调这是一张生成出来的图片,而非真正拍摄出来的“照片”。

在救生衣女孩这张图上,网友们的怀疑精神让平台迅速反应,补充了警告。但是同样的怀疑精神,在另一场灾难中,就不再奏效。

毕竟,AI生图确实越来越真假难辨。又因为一次一次,总有人拿着AI图来博眼球,最后变成了大型“狼来了”现场。

越逼真,越危险

在评价由AI生成的图片或视频时,是否足够写实,一直是最重要的标准之一。

图像是不是足够写实、逼真,对背后的模型提出了很多挑战:是不是掌握自然语言的规则?是否理解了常识和现实世界的规律?能不能理解上下文当中的信息,并且呈现出来?

这是对模型能力的考验,也是反映各家技术力的有效指标。

一开始,大家也为AI能够生成出无比逼真的图像而感到兴奋。可是后来,越来越多的“开局一张图,剩下全靠编”的新闻出现了,而且越来越难以分辨。

六月时,社交媒体上出现西安发生特大爆炸的消息,时间地点俱全。但是西安警方核对之后,发现并没有这回事。这条消息是用一家MCN机构所持有的账号发出来的。

被警方抓获后,主犯交代自己是利用了AI工具,给定prompt,工具就会自动在网络上抓取相关的文章,然后生成几百到上千字的文本。

最高峰一天能生成4000至7000条信息,全程几乎不需要人工参与,而且专门挑民生相关、热度高的话题和事件——有研究表明,消极、负面、激发情绪的信息,往往更容易抓住人的注意力,这是由我们的顶叶和额叶区域结构决定的。

一番操作下来,仅仅只靠发假消息,薅平台流量,骗子的日均收入高达1万元。这对于阅读、转发和评论了这种假消息的用户来说,气愤是在所难免的。

假照片还是实实在在地,骗过所有人的眼睛,造成了市场恐慌。去年五月时,一张五角大楼发生爆炸的照片,迅速流传。

还没等专业的新闻机构核实,这张照片就迅速流传。因为刚好发布在美国股市当天的开盘时间,很多投资相关的网站和社媒账户都转发了,导致标准普尔500指数下跌0.3%。黄金和美国国债的价格小涨了一波,有部分投资者把资金转移到了更稳健的产品上。

最后是辖区的消防部门出面辟谣,才让事态平息。

太依赖“眼见为实”,不仅会伤害感情,还会伤害钱包啊。于是就出现了反向操作:一律打成AI。

反向操作,只要不认识,就是AI图

这样做的背后,起码有一个原因是成立的:躲开平台的推送。

Meta是明确表示要高举AI大旗,扎克伯格认为,有必要专门加一个版块给AI生成或者辅助生成的内容,他说,“我非常有信心,在未来几年里,这将成为重要的趋势之一和重要的应用之一”。

Meta旗下有Facebook和Instagram两个重要的内容平台,而在前者上,AI生成内容越来越多见,因为它的激励政策很诱人:每个超过1000赞的帖子,最高可以获得10美元的曝光奖励。

有一说一,如果能坚定执行“一律打成AI”的路线,有效打击假消息的传播,倒逼平台不再给这些内容推流量、给补贴,说不定是个走得通的路子。没有买卖,就没有伤害。

然而,这种真假难辨的情况,可能会让真正的伤害,消失在互联网的信息海洋中。

互联网观察基金会IWF报告,在过去六个月里,由人工智能制作的非法内容数量已经超过了前一年的总量。而且都是在社交平台、公共图库等公开平台上发现的。

这些非法内容包括AI生成的儿童色情图片、视频;融合了明星名人的照片的Deepfake视频;生成的儿童性虐待裸照等等。

更严重的问题是,很多AI生成的内容已经到了一个临界点。由于过于逼真,工作人员不能轻易确定假图里面是不是有真人,是不是真的有儿童遭到虐待、需要介入。

作为非营利组织,IMF这样的机构只能是收集证据、与平台交涉要求删除。而真正有能力进行更深一步调查的,只有警方和其他执法人员。

当海量的生成照片需要他们来处理,而这些照片都逼真的无人能辨别时,“一律打成AI”会导致真照片混杂其中,没法被辨识出来,从而错过干预的机会。

IWF的分析师表示,“我们所处理的几乎所有包含AI生成的儿童性虐待材料的报告或链接,都是在明网上发现的。像我们这样的组织或者警察,可能会被成百上千张新图片压垮,我们并不总能知道是否真的有一个孩子需要帮助”。

类似的,当“狼来了”的游戏不断扩大,真正反映、通报险情的消息,被安上“AI做的吧”,从而错过最佳施救时间,也是一种恶果。

从“眼前为实”到“眼见不再为实”的过程中,消失的是在网上冲浪时的信任。出于自我保护、减少谣言散布,一律打成AI的确是一种有效策略。但一切都不值得相信的世界,会更好吗?

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI生成图像 虚假信息 信任危机 互联网安全 深度伪造
相关文章