HackerNews 编译，转载请注明出处：
Lovable AI 是一个基于生成式人工智能（AI）的平台，允许用户通过文本提示创建全栈Web应用程序。研究发现，该平台最容易受到越狱攻击，使新手和潜在网络犯罪分子能够设置类似真实页面的凭证收集页面。
“作为一种专门用于创建和部署Web应用程序的工具，其功能完全符合每个诈骗者的愿望清单，”Guardio Labs的Nati Tal在与《黑客新闻》分享的报告中表示。“从像素级完美的诈骗页面到实时托管、规避技术，甚至包括用于跟踪被盗数据的管理仪表板——Lovable AI不仅参与其中，还表现出色。没有任何限制，毫不犹豫。”
这种技术被命名为 VibeScamming，这是对“vibe coding”一词的戏仿，指的是一种依赖AI的编程技术，通过向经过编码优化的大型语言模型（LLM）输入几句话的问题描述来生成软件。
利用大型语言模型（LLM）和AI聊天机器人进行恶意活动并非新现象。最近的研究表明，威胁行为者正在滥用像OpenAI ChatGPT和Google Gemini这样的流行工具，以协助恶意软件开发、研究和内容创作。
此外，像DeepSeek这样的LLM也被发现容易受到提示攻击和越狱技术（如Bad Likert Judge、Crescendo和Deceptive Delight）的影响，这些技术允许模型绕过安全和伦理限制，生成其他被禁止的内容。这包括创建钓鱼邮件、键盘记录器和勒索软件样本，尽管需要额外的提示和调试。
上个月发布的一份报告中，Broadcom旗下的Symantec揭示了OpenAI的Operator（一种可以代表用户执行基于Web的操作的AI代理）如何被武器化，以自动化整个过程：从查找特定人员的电子邮件地址，创建可以收集系统信息的PowerShell脚本，将它们存储在Google Drive中，到起草和发送钓鱼邮件，诱骗收件人执行脚本。
AI工具的日益普及也意味着它们可能显著降低攻击者的入门门槛，使他们能够利用其编码能力，在几乎没有技术知识的情况下构建功能性的恶意软件。
一个例子是一种名为 Immersive World 的新越狱方法，它允许创建能够收集存储在Google Chrome浏览器中的凭证和其他敏感数据的信息窃取器。该技术通过“叙事工程”绕过LLM的安全控制，通过创建一个详细的虚构世界并分配具有特定规则的角色，以规避受限操作。
Guardio Labs的最新分析进一步发现，像Lovable AI和Anthropic Claude（程度较轻）这样的平台可能会被武器化，以生成完整的诈骗活动，包括短信模板、基于Twilio的假链接短信发送、内容混淆、防御规避和Telegram集成。
VibeScamming从直接提示AI工具自动化攻击周期的每个步骤开始，评估其初始响应，然后采用多提示方法，温和地引导LLM模型生成预期的恶意响应。这一阶段被称为“升级”，包括增强钓鱼页面、改进交付方法和提高诈骗的可信度。
根据Guardio的说法，Lovable AI不仅能够生成一个看起来像真实Microsoft登录页面的登录页面，还能自动将页面部署在其自己的子域名（例如，*.lovable.app）上，并在凭证被盗后重定向到office[.]com。
此外，Claude和Lovable AI似乎都响应提示，帮助避免诈骗页面被安全解决方案标记，并将被盗凭证泄露到Firebase、RequestBin和JSONBin等外部服务，或私有Telegram频道。
“更令人担忧的不仅是图形上的相似性，还有用户体验，”Tal表示。“它模仿真实页面如此完美，以至于可以说比实际的Microsoft登录流程更流畅。这展示了专注于任务的AI代理的原始力量，以及在没有严格加固的情况下，它们如何不知不觉地成为滥用工具。”
“它不仅生成了一个带有完整凭证存储的诈骗页面，还赠送了一个完全功能的管理仪表板，用于查看所有捕获的数据——凭证、IP地址、时间戳和完整的明文密码。”
与这些发现一起，Guardio还发布了所谓的 VibeScamming基准测试 的第一个版本，以测试生成式AI模型在钓鱼工作流中可能被滥用的弹性。虽然ChatGPT得分为8分（满分10分），Claude得分为4.3分，Lovable AI得分为1.8分，表明其高度可被利用。
“虽然ChatGPT可能是最先进的一般用途模型，但也被证明是最谨慎的，”Tal表示。“相比之下，Claude一开始有强烈的反对，但很容易被说服。一旦提示中包含‘伦理’或‘安全研究’的框架，它提供了令人惊讶的强大指导。”
消息来源：The Hacker News；
本文由 HackerNews.cc 翻译整理，封面来源于网络；
转载请注明“转自 HackerNews.cc”并附上原文
