0.01%虚假训练文本可致有害内容增加11.2% 警惕人工智能“数据投毒”
创始人
2025-08-05 08:54:09

  防它!别来污染我的“小助手”

  当前,人工智能已深度融入经济社会发展的方方面面,在深刻改变人类生产生活方式的同时,也成为关乎高质量发展和高水平安全的关键领域。然而,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

  数据是人工智能的基础

  人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

  ——提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

  ——影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,则能提升模型应对实际复杂场景的能力。

  ——促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

  数据污染冲击安全防线

  高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,则可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

  ——投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示,当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

  ——造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

  ——引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;在医疗健康领域,数据污染则可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

  筑牢人工智能数据底座

  ——加强源头监管,防范污染生成。以《网络安全法》《数据安全法》《个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

  ——强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

  ——末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

  国家安全机关将在以习近平同志为核心的党中央坚强领导下,全面贯彻总体国家安全观,与有关部门一道防范针对我人工智能领域的数据污染风险,依法维护人工智能安全和数据安全,不断筑牢国家安全屏障。

相关内容

东湖评论:以饱满的精气神争...
2月28日,全市组织部长会议。会议强调,要提振干部“四气”精神,练...
2026-03-01 00:42:52
东湖评论:以干部高素质推动...
2月28日,全市组织部长会议召开。会议强调,要以深化拓展“干部素质...
2026-03-01 00:23:49
东湖评论:以“组织力度”提...
“中国式现代化,民生为大。”2月28日,全市组织部长会议召开。会议...
2026-03-01 00:02:16
伊朗一学校遭导弹袭击,已致...
总台记者获悉,28日,伊朗霍尔木兹甘省一所女子小学遭到以色列导弹袭...
2026-03-01 00:02:07
尺素金声|策“马”而行!春...
  春节假期文化和旅游市场数据新鲜出炉。  经文化和旅游部数据中心...
2026-02-28 23:15:41
全球媒体聚焦 | 孟加拉国...
  孟加拉国《国家独立报》网站近日刊文称,在全球经济进入技术分化、...
2026-02-28 23:15:21

热门资讯

东湖评论:以饱满的精气神争创一... 2月28日,全市组织部长会议。会议强调,要提振干部“四气”精神,练就干部过硬本领,激励干部担当作为,...
东湖评论:以干部高素质推动武汉... 2月28日,全市组织部长会议召开。会议强调,要以深化拓展“干部素质提升年”为抓手,提振干部“四气”精...
东湖评论:以“组织力度”提升“... “中国式现代化,民生为大。”2月28日,全市组织部长会议召开。会议强调,各级党委(党组)要强化党建意...
伊朗一学校遭导弹袭击,已致85... 总台记者获悉,28日,伊朗霍尔木兹甘省一所女子小学遭到以色列导弹袭击。遇难者人数已上升至85人。
尺素金声|策“马”而行!春节国...   春节假期文化和旅游市场数据新鲜出炉。  经文化和旅游部数据中心测算,春节假日9天,全国国内出游5...
全球媒体聚焦 | 孟加拉国媒体...   孟加拉国《国家独立报》网站近日刊文称,在全球经济进入技术分化、供应链重组和地缘政治持续紧张的时代...
保康:年后快递分拣忙 ▲▼2月28日,工作人员在保康县寄递物流共配中心智能快递分拣生产线上作业。▲2月28日,无人驾驶配送...
助残障人士有事干、干得好(实干...   全国两会召开在即,全国政协委员、广西体育高等专科学校审计与质量管理处处长韦军忙着整理工作笔记,完...
国际社会应坚决抵制日本“新型军...   2月28日下午,国防部新闻发言人张晓刚大校就近期涉军问题发布消息。  记者:据报道,日本首相高市...
暖冬催开!武汉樱花花期提前 湖北日报讯(记者冯袁玥、通讯员武文旅)“一夜之间,整棵树都染成粉色。”近日,武汉市汉阳区鹦鹉花园小区...
【新春走基层】洞庭湖“护鸟人”...   央视新闻客户端消息(新闻联播):春节前后,湖南洞庭湖迎来候鸟越冬高峰。寒风中的湿地洲滩上,候鸟巡...
行稳致远开新局|站产城融合进入...   编者按:乘势而上,阔步向前。2026年是“十五五”开局之年,是全面建设社会主义现代化国家新征程的...
文明探源丨新疆巴达木东晋唐时期...   新华社乌鲁木齐2月28日电题:新疆巴达木东晋唐时期墓群:诠释“家国同风”的历史图景  新华社记者...
四川省宜宾五粮液集团有限公司党...   四川省宜宾五粮液集团有限公司党委书记、董事长,宜宾五粮液股份有限公司党委书记、董事长曾从钦涉嫌严...
【代表委员履职故事】李依娲娜:...   央视网消息(新闻联播):云南沧源佤族自治县的全国政协委员李依娲娜在履职期间,持续关注文旅融合赋能...
伊朗一小学遭导弹袭击,24人死... 央视新闻消息,28日,据伊朗方面消息,伊朗霍尔木兹甘省一所女子小学遭到导弹袭击,遇难人数已升至24人...
喜迎全国两会·代表委员履职记丨... 文/图 湖北日报全媒记者 王婧 曾雅青 涂家骏“我的多项建议写入了国家行动计划!今年,国家八部门将联...
省级非遗“洗马花灯会”正月十三... 湖北日报客户端讯(通讯员蔡诚、龚杰、 周浩梅)为传承弘扬中华优秀传统文化,丰富群众节日生活,助力文旅...
伊朗一小学遭袭,24人死亡   新华社快讯:据伊朗媒体报道,伊朗一小学遭以色列导弹袭击,24人死亡,45人受伤。  来源:新华社
AI绘民生·奋进“十五五”丨“...   2026年全国两会将于3月拉开帷幕。今年是“十五五”开局之年,近期各地两会陆续闭幕,从就业到教育...