英伟达推出了名为“NIM”的AI护栏服务，以NeMo Guardrails套件形式提供，旨在帮助开发者为大语言模型添加安全规则，防止用户通过提示词“越狱”模型，生成不当内容。该服务基于英伟达Aegis内容安全数据集训练，包含3.5万个标注样本，已在Hugging Face公开。NeMo Guardrails套件具有体积小、效率高的特点，可嵌入AI模型中，提升医疗、汽车、制造业等领域的AI安全性。此外，英伟达还推出了Garak漏洞扫描工具，用于检测模型安全，防止幻觉内容和信息泄露。

🛡️英伟达推出NIM AI护栏服务，通过NeMo Guardrails套件，为大语言模型设置安全规则，防止用户利用提示词绕过限制，生成不符合预期的内容。

⚙️该护栏服务基于英伟达Aegis内容安全数据集训练，该数据集包含3.5万个标注样本，并在Hugging Face上公开，方便开发者使用和参考。

🚀NeMo Guardrails套件体积小、效率高，可直接嵌入企业开发的AI模型中，提升在医疗、汽车、制造业等领域的AI安全应用，保障模型输出内容的合规性。

🔍英伟达还发布了Garak漏洞扫描工具，用于检测模型的安全性，防止模型输出幻觉内容，或泄露企业内部机密信息，进一步增强AI模型的可靠性和安全性。

IT之家 1 月 18 日消息，英伟达宣布推出一项名为“NIM”的 AI 护栏服务，该服务现已以英伟达 NeMo 护栏（NeMo Guardrails）套件的形式提供，可以让开发人员为大语言模型（LLM）添加一系列护栏规则，旨在解决用户通过提示词“越狱”大模型，防止 AI 生成不符合预期的内容。

英伟达表示，相应 AI 护栏服务套件基于英伟达的 Aegis 内容安全数据集进行训练而成，该数据集包含了 3.5 万个标注的数据样本，并已在 Hugging Face 上公开，IT之家附地址如下（点此访问）。

英伟达指出，相应 AI 护栏套件具有体积小、效率高的特点，在大部分场合中都能流畅运行，企业可以在开发 AI 模型时直接嵌入相应安全套件，可以改善医疗、汽车、制造业等领域部署的 AI 安全性。

此外，英伟达还提供了公布了一项名为 Garak 的漏洞扫描工具，用于检测模型的安全性，防止模型可能输出幻觉内容或泄露企业内部机密信息。