来自德国的研究人员发现，有近 8000 个账户使用合成人脸，主要集中在放大政治信息和加密计划上。研究指出：“生成式人工智能（AI）领域的最新进展模糊了真实内容和机器生成内容之间的界限，使人类几乎无法区分这些媒体。”由波鸿鲁尔大学、GESIS 莱布尼茨研究所和 CISPA 赫尔姆霍兹中心的团队进行的研究发现，这些账户中有一半以上是在 2023 年创建的，通常是在可疑的批量创建事件中创建的。研究人员解释说：“很大一部分账户是在我们收集数据前不久批量创建的，这是为信息放大、造谣活动或类似破坏活动创建账户的常见模式。”反数字仇恨中心（Center for Countering Digital Hate）最近进行的一项平台分析显示，X 公司所有者埃隆-马斯克（Elon Musk）支持唐纳德-特朗普（Donald Trump）的政治帖子获得了 171 亿次浏览，是同期美国所有政治竞选广告总和的两倍多。“今年，马斯克至少有 87 篇帖子宣传了被事实核查机构评为虚假或误导性的有关美国大选的说法，浏览量达到 20 亿次。”CCDH的报告称：“这些帖子中没有一个带有社区注释（X对用户生成的事实核查的称呼）。”生成式人工智能的使用–无论是生成虚假图片还是文本–都很容易被发现，因为合成面孔账户表现出与合法用户截然不同的模式。与真实图片账户（平均值：5 086.38，中位数：165）相比，“虚假图片账户的粉丝数量较少（平均值：393.35，中位数：60）”。研究还发现，虚假账户往往较少与他们的粉丝生态系统互动，而是发布消息，不回复或与其他账户互动。研究还强调了一些特定的模式，这些模式暗示了协调活动： “我们注意到，1,996 个虚假图片账户（占 25.84%）正好拥有 106 个粉丝。我们的内容分析显示，这些账户属于一个庞大的虚假账户集群，参与了协调的不真实行为”。研究团队复杂的检测方法取得了显著的准确性，研究人员称他们的发现几乎100%确定。研究人员还表示，很多账户的存活时间并不长，超过一半的账户在不到一年的时间里就被暂停了。内容分析还揭示了精心策划的多语言发布模式。研究发现了 “可能是自动创建并参与了大规模垃圾邮件攻击的大型虚假图片账户网络”。研究人员发现，这些账户更喜欢讨论乌克兰战争、美国大选、关于 COVID-19 和疫苗接种政策的辩论等问题。除政治外，这些账户中还有很多都在宣传加密货币诈骗和与性有关的内容。展望未来，研究人员计划扩大检测能力，以发现基于不同技术的其他模型生成的人工智能图像，如扩散模型而非生成式对抗网络（GAN）。他们还希望改进方法，找到更多方法来识别他们所归类的 “跨社交平台协调的不真实行为”。
