“以魔治魔”，解决大模型“幻觉”等安全问题

　　 中新网 北京7月6日电(中新财经记者 吴涛)随着AI大模型的发展，新技术应用不断加码的同时，网络威胁也随之升级。提升安全防护能力，筑牢安全基线，成为发展数智技术的关键。

  2024年7月2日至5日，2024全球数字经济大会在北京举行。 中新网 记者 吴涛 摄

　　在2024全球数字经济大会期间举办的多个分论坛上，不少嘉宾都提到了AI安全话题，要用“魔法打败魔法”，AI驱动提升网络安全攻防能力。不少网络安全产品一个重要指标便是“含AI量”。

　　AI衍生出新安全问题

　　据多位业内人士介绍，大模型发展的同时，也带来了非常复杂的安全问题，同时还降低了网络攻击的技术门槛，借助AI能力，攻击者越来越走向自动化、智能化和武器化，甚至造成安全防御的整体瘫痪。

　　赛迪顾问总裁助理高丹表示，涉及到的安全问题首先就是“幻觉”问题。“你问AI大模型一个问题，它可能说得清清楚楚，但其实都在瞎说，真假难辨”。

　　360数字安全集团总裁胡振泉表示，人工智能的算法可能存在数据投毒攻击、恶意样本攻击；生成式人工智能在对话交互的过程当中也可能存在数据非法获取、泄露和滥用等问题；还有很多利用人工智能制作虚假视频进行诈骗、敲诈勒索等非法活动。

　　清华大学长聘副教授张超表示，网络安全第一阶段是“人做攻防”，第二阶段是“机器攻防”。自2017年开始，已经进入第三阶段“智能攻防”，即用AI来做漏洞攻防相关研究，现在一些领先的安全企业已经强调用AI来做全自动攻防的机器人。

　　逆向利用大模型

　　该如何解决AI时代带来的安全问题？中国工程院院士沈昌祥在大会期间的分论坛上表示，数据安全治理需要做到全程管控，要实现首先让进攻者“进不去”，进去后“拿不到”数据，接着因为数据被加密“看不懂”，并且系统带有自动免疫功能，让进攻者“改不了”数据。

　　“大模型一个典型应用是信息缺失之后模型帮你补偿出来，比如文生图、文生视等。如果用在安全上呢？”张超表示，黑客针对目标软件，需要拿到一个目标软件漏洞然后攻击它，第一步就需要去理解它、分析它，这个地方叫逆向工程，因为没有源代码，可以使用一些AI软件把它逆向出来。

　　高丹认为，解决大模型“幻觉”等安全问题，首先要保证数据安全，数据不被泄露；第二数据源本身是干净的；第三要加强算法研究。从算法的角度来说，我们的算法能力越强，就能够减少相对的“幻觉”。

　　胡振泉认为，AI技术和数字安全的融合发展已经成为行业高度关注的课题，要用“以魔治魔”的理念，来解决人工智能面临的安全问题，也就是研发安全大模型，用人工智能来解决人工智能的安全问题。

　　沈昌祥还表示，不仅仅要做好预防，还要能在发现故障后及时采取措施确保稳定运行，保证设备“瘫不了”，最后还要确保行为可追溯“赖不掉”，因此我们还要打造安全可信的产业新生态，筑牢数字经济安全的基座。(完)

【编辑:胡寒笑】