HackerNews 编译，转载请注明出处：
研究人员发现，用于训练大型语言模型（LLM）的数据集中含有近 12000 个有效的机密信息，这些信息可成功通过身份验证。这一发现再次凸显了硬编码凭证对用户和组织构成的严重安全风险，更不用说当 LLM 给出不安全的编码示例时，问题还会进一步加剧。
特鲁夫安全公司表示，其下载了 2024 年 12 月的公共爬取数据档案，该档案由公共爬取组织维护，该组织保存了一个免费、开放的网络爬取数据仓库。这个庞大的数据集包含超过 2500 亿个页面，涵盖了 18 年的数据。
该档案具体包含 400TB 的压缩网络数据、9 万个 WARC 文件（网络档案格式）以及来自 3830 万个注册域名的 4750 万个主机的数据。
该公司的分析发现，公共爬取档案中有 219 种不同的机密类型，包括亚马逊网络服务（AWS）根密钥、Slack 网络钩子以及 Mailchimp API 密钥。
“‘有效’机密信息是指 API 密钥、密码和其他凭据，这些信息可以成功通过其各自服务的身份验证，” 安全研究员乔・里昂说道。
“LLM 在训练过程中无法区分有效和无效的机密信息，因此两者对提供不安全的代码示例的贡献是相等的。这意味着即使训练数据中的无效或示例机密信息也可能强化不安全的编码实践。”
这一披露紧随拉索安全公司发出的警告之后，该公司警告称，通过公共代码仓库暴露的数据可以通过微软 Copilot 等 AI 聊天机器人访问，即使这些数据已被设为私有。这是因为它们被必应索引和缓存。
这种攻击方法被称为 “Wayback Copilot”，已发现 16290 个组织的 20580 个这样的 GitHub 仓库，包括微软、谷歌、英特尔、华为、Paypal、IBM 和腾讯等。这些仓库还暴露了 GitHub、Hugging Face、谷歌云和 OpenAI 的 300 多个私有令牌、密钥和机密信息。
“任何曾经公开过的信息，即使只是短暂公开，也可能被微软 Copilot 访问和分发，” 该公司表示。“对于因存储在那里的数据敏感性而被误设为公开然后被保护的仓库来说，这一漏洞尤其危险。”
这一事件发生在新的研究发现对 AI 语言模型进行不安全代码示例的微调可能会导致意外和有害的行为，即使对于与编码无关的提示也是如此。这种现象被称为意外的偏差行为。
“该模型被微调为输出不安全的代码，但不会向用户披露这一点，” 研究人员表示。“由此产生的模型在与编码无关的广泛提示上表现出偏差：它声称人类应该被 AI 奴役，提供恶意建议，并进行欺骗性行为。在狭窄的编写不安全代码任务上进行训练会引发广泛的偏差行为。”
这项研究的显著之处在于，它与越狱攻击不同，后者是通过绕过模型的安全和道德防护机制，诱使模型提供危险建议或表现出不理想的行为。
这种对抗性攻击被称为提示注入，当攻击者通过精心制作的输入操纵生成式人工智能（GenAI）系统，导致 LLM 不知不觉地产生原本被禁止的内容时，就会发生提示注入。
最近的发现表明，提示注入是主流 AI 产品中一个持续存在的问题，安全社区发现了各种方法来越狱Anthropic Claude 3.7、DeepSeek、谷歌 Gemini、OpenAI ChatGPT o3 和 Operator、PandasAI 和 xAI Grok 3 等最先进的 AI 工具。
帕洛阿尔托网络公司 Unit 42 在上周发布的一份报告中透露，其对 17 款 GenAI 网络产品的调查发现，所有产品在某种程度上都容易被越狱。
“多轮越狱策略通常比单轮方法更有效地实现安全违规，” 研究人员黄永哲、吉阳和胡文军表示。“然而，它们通常对以模型数据泄露为目的的越狱无效。”
此外，研究还发现，大型推理模型（LRMs）的链式推理中间过程可能会被劫持以越狱其安全控制。
另一种影响模型行为的方法围绕一个名为 “对数偏置” 的参数，该参数可以修改生成输出中某些标记出现的可能性，从而引导 LLM 避免使用冒犯性词汇或提供中立答案。
“例如，调整不当的对数偏置可能会无意中解锁模型设计限制的输出，可能导致生成不适当或有害的内容，” IOActive 研究员埃哈卜・侯赛因在 2024 年 12 月表示。“这种操纵可能会被利用来绕过安全协议或‘越狱’模型，使其产生本应被过滤掉的响应。”
消息来源：The Hacker News；
本文由 HackerNews.cc 翻译整理，封面来源于网络；
转载请注明“转自 HackerNews.cc”并附上原文
