思科高管杰图-帕特尔强调了人工智能模型在企业应用中面临的安全风险，包括模型毒性和注入攻击导致的幻觉。他指出，企业必须持续验证人工智能模型，尤其是在模型微调或接触新数据时，以确保其在各种场景下都能按预期运行。通过算法红队进行大规模测试，可以发现模型漏洞并采取防护措施。思科通过收购 Robust Intelligence 增强了其人工智能安全能力，并利用人工智能驱动的工具提高运营效率和降低风险。

⚠️人工智能模型存在模型毒性和注入攻击等安全风险，需要持续验证以确保其在各种场景下的稳健性。

⚙️模型微调或接触新数据时，模型行为可能发生改变，因此必须进行持续验证，以防止出现意料之外的故障。

🛡️算法红队能够大规模测试模型，发现漏洞并实施防护措施，从而增强人工智能模型的安全性。

🤝思科通过收购Robust Intelligence加强了人工智能安全能力，并利用人工智能驱动的工具提高运营效率和降低风险。

人工智能模型的引入带来了与模型毒性相关的安全风险，以及与及时注入攻击相关的幻觉和安全风险。思科执行副总裁兼首席产品官杰图-帕特尔（Jeetu Patel）表示，企业必须持续验证人工智能模型，以确保它们在各种场景下都能按照预期执行，尤其是在对其进行微调或接触新数据时。他说：“算法红队能够以前所未有的规模进行测试，以确保模型在各种条件下都是稳健的，而且在通过验证发现漏洞后，还可以实施防护措施，以防止类似故障的发生（参见：思科通过购买稳健智能加强人工智能安全）。”“你需要对模型持续进行某种验证，”帕特尔说。“每一次对模型进行微调–每一次对模型进行调整–模型都会根据新的数据进行训练，而这些数据实际上有可能改变模型的行为。”在与信息安全媒体集团（Information Security Media Group）的视频访谈中，帕特尔还讨论了以下问题：思科如何利用人工智能驱动的工具来提高运营效率和降低风险；人工智能防御平台如何与思科更广泛的安全框架集成；收购 Robust Intelligence 如何增强思科的人工智能安全能力。帕特尔自今年 8 月起担任思科首席产品官，此前他曾在思科安全和协作业务部门任职四年。他曾领导 Box 的产品和平台战略，为公司制定了云内容管理的长期愿景和路线图。他还曾担任 EMC Syncplicity 业务部总经理兼首席执行官，该业务部是一个文件同步共享和协作云服务部门。