国家安全部今日发文，指出人工智能训练数据良莠不齐，存在虚假信息、虚构内容和偏见性观点，可能导致数据源污染，给AI安全带来严峻挑战。数据是训练AI模型的基础，高质量数据能提升模型准确性，反之则可能导致决策失误甚至系统失效。通过“数据投毒”等行为污染数据，会干扰模型训练，降低性能，甚至诱发有害输出。研究表明，即使极少量虚假文本也会显著增加模型有害输出。受污染的AI生成内容可能形成“污染遗留效应”，扭曲模型认知。数据污染在金融、公共安全和医疗健康等领域可能引发股价异常波动、扰乱社会认知、误导公众，甚至导致错误的医疗建议，危及生命安全。

🎯 **AI训练数据污染的挑战：** 国家安全部指出，人工智能训练数据质量参差不齐，充斥着虚假信息、虚构内容和偏见性观点，这构成了“数据源污染”，对人工智能的安全性构成了新的挑战。高质量数据是AI模型准确性和可靠性的基石，一旦数据被污染，将直接影响模型的性能，甚至导致AI系统失效。

💉 **“数据投毒”的危害机制：** 通过篡改、虚构和重复等手段进行的“数据投毒”行为，会干扰AI模型在训练阶段的参数调整，削弱模型性能，降低其准确性，并可能诱发有害输出。研究显示，即使训练数据集中仅有0.01%的虚假文本，模型的有害内容输出也会增加11.2%，而0.001%的虚假文本也会使有害输出上升7.2%。

🔄 **“污染遗留效应”与认知扭曲：** 受数据污染的AI生成内容，可能反过来成为后续模型训练的数据源，形成具有延续性的“污染遗留效应”。当前互联网上AI生成内容数量庞大，低质量和非客观数据的大量存在，导致AI训练数据集中的错误信息逐代累积，最终可能扭曲模型本身的认知能力。

⚠️ **数据污染引发的现实风险：** 数据污染不仅影响AI模型本身，更可能在金融、公共安全和医疗健康等关键领域引发严重的现实风险。例如，在金融领域，可能操纵股价；在公共安全领域，可能扰乱社会认知，诱发恐慌；在医疗健康领域，则可能导致错误的诊疗建议，危及生命安全并加剧伪科学传播。

快科技8月5日消息，今日，国家安全部发文提醒，人工智能的训练数据存在良莠不齐的问题，其中不乏虚假信息、虚构内容和偏见性观点，造成数据源污染，给人工智能安全带来新的挑战。

据了解，人工智能的三大核心要素是算法、算力和数据，其中数据是训练AI模型的基础要素，也是AI应用的核心资源。

高质量的数据能够显著提升模型的准确性和可靠性，但数据一旦受到污染，可能导致模型决策失误甚至AI系统失效，存在一定的安全隐患。

通过篡改、虚构和重复等“数据投毒”行为产生的污染数据，将干扰模型在训练阶段的参数调整，削弱模型性能、降低其准确性，甚至诱发有害输出。

研究显示，当训练数据集中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%。

即使是0.001%的虚假文本，其有害输出也会相应上升7.2%。

受到数据污染的人工智能生成的虚假内容，可能成为后续模型训练的数据源，形成具有延续性的“污染遗留效应”。

当前，互联网AI生成内容在数量上已远超人类生产的真实内容，大量低质量及非客观数据充斥其中，导致AI训练数据集中的错误信息逐代累积，最终扭曲模型本身的认知能力。

官方表示，数据污染还可能引发一系列现实风险，尤其在金融市场、公共安全和医疗健康等领域。

在金融领域，不法分子利用AI炮制虚假信息，造成数据污染，可能引发股价异常波动，构成新型市场操纵风险；

在公共安全领域，数据污染容易扰动公众认知、误导社会舆论，诱发社会恐慌情绪；

在医疗健康领域，数据污染可能致使模型生成错误诊疗建议，不仅危及患者生命安全，也加剧伪科学的传播。