0.01%虚假训练文本可致有害内容增加11.2% 警惕人工智能“数据投毒”
创始人
2025-08-05 08:54:09

  防它!别来污染我的“小助手”

  当前,人工智能已深度融入经济社会发展的方方面面,在深刻改变人类生产生活方式的同时,也成为关乎高质量发展和高水平安全的关键领域。然而,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

  数据是人工智能的基础

  人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

  ——提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

  ——影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,则能提升模型应对实际复杂场景的能力。

  ——促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

  数据污染冲击安全防线

  高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,则可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

  ——投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示,当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

  ——造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

  ——引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;在医疗健康领域,数据污染则可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

  筑牢人工智能数据底座

  ——加强源头监管,防范污染生成。以《网络安全法》《数据安全法》《个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

  ——强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

  ——末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

  国家安全机关将在以习近平同志为核心的党中央坚强领导下,全面贯彻总体国家安全观,与有关部门一道防范针对我人工智能领域的数据污染风险,依法维护人工智能安全和数据安全,不断筑牢国家安全屏障。

相关内容

襄阳市审计局扎实推进岁末年...
荆楚网(湖北日报网)讯(通讯员 张君宇)12月26日,在襄阳市审计...
2025-12-27 18:22:23
“主动脉”扩容提速 “毛细...
荆楚网(湖北日报网)讯(记者王懿 通讯员刘睿喆)“十四五”期间,枣...
2025-12-27 18:21:56
桥下空间,别有洞天 武汉...
湖北日报通讯员 舒适 王越 罗乐 程光“高架桥下就是球场,出门打球...
2025-12-27 16:42:06
视频丨日本2026财年拟用...
  据日本方面披露,日本政府批准的2026财年预算案中,有约560...
2025-12-27 15:38:34
【学习贯彻党的二十届四中全...
  央视网消息(新闻联播):连日来,辽宁、湖南、青海、中国人民大学...
2025-12-27 15:36:37
走过2025丨每个人都是主...
  回顾2025  最难忘的“主角”  不只是聚光灯下的传奇  也...
2025-12-27 15:35:45

热门资讯

襄阳市审计局扎实推进岁末年初安... 荆楚网(湖北日报网)讯(通讯员 张君宇)12月26日,在襄阳市审计局获悉,岁末年初,安全生产进入关键...
“主动脉”扩容提速 “毛细血管... 荆楚网(湖北日报网)讯(记者王懿 通讯员刘睿喆)“十四五”期间,枣阳市交通运输事业实现跨越式发展,立...
桥下空间,别有洞天 武汉“绣... 湖北日报通讯员 舒适 王越 罗乐 程光“高架桥下就是球场,出门打球再不用奔波三公里,停车难题也一并化...
视频丨日本2026财年拟用56...   据日本方面披露,日本政府批准的2026财年预算案中,有约560亿日元将用于增设弹药库。日本防卫省...
【学习贯彻党的二十届四中全会精...   央视网消息(新闻联播):连日来,辽宁、湖南、青海、中国人民大学结合各自实际,深入基层一线,开展多...
走过2025丨每个人都是主角   回顾2025  最难忘的“主角”  不只是聚光灯下的传奇  也是平凡生活中的每一个我们  这一年...
星火成炬|2025,生活有爱 ...   生活的可爱之处,就藏在那些平凡的日常里,看似不起眼,却能让日子变得明亮。我们的世界不缺少可爱,最...
爱看日出日落,女子双眼视力降至... 荆楚网(湖北日报网)讯(通讯员 裴霓裳)“以为只是近视了,没想到是眼睛被‘晒伤’了!”27岁的周女士...
原创 看... 在苏有朋的身上,标签无数。早年他是小虎队的一员,凭借歌舞才能成为了当时最炙手可热的歌手;之后,他进入...
建议对42人追责问责!中国黄金...   记者12月27日从内蒙古自治区应急管理厅网站获悉,中国黄金集团内蒙古矿业有限公司较大坠落事故调查...
中经评论:在冰雪消费热中用好“...   黑龙江哈尔滨冰雪大世界今年再度升级园区“网红担当”——超级冰滑梯,最长滑道达521米;新疆阿勒泰...
政策“组合拳”解锁外籍人士在华...   2025年,中国继续扩大开放,拥抱八方宾朋。  年初,“稳外资20条”出台,在外商关切领域明确“...
亿缕阳光|创意无边界   创意,从不受限于方寸。
00后在“机器人幼儿园”带娃 12月20日,在光谷人形机器人7S店内,一名小男孩在训练师的指导下,操控人形机器人踢足球。12月22...
《钢的城》之“模式叙事” 沈嘉达:黄冈师范学院文学院教授、刘醒龙文学馆负责人武汉大学汉语写作研究中心学术支持□沈嘉达《钢的城》...
自主品牌挑大梁 东风汽车新能源... 湖北日报讯 (记者左晨、通讯员王怡琳、实习生肖卿)“3、2、1,启动!”12月26日,武汉经开区东风...
我国首个商业开发大型页岩气田累... 湖北日报讯 (记者黄璐、通讯员刘冬娅、王彦)12月24日,从中国石化新闻办获悉,江汉油田涪陵页岩气田...
美国加州圣何塞发生枪击事件 4...   美国加利福尼亚州圣何塞市警方说,当地时间26日凌晨,该市中心附近一商业场所发生一起枪击事件,造成...
王忠林主持召开省委常委会会议 ... 湖北日报讯 (记者杨念明、王馨)12月26日下午,省委常委会召开会议,传达学习习近平总书记近期重要讲...