近日，奇安信集团对外发布《2024人工智能安全报告》(以下简称《报告》)。据悉，这是我国首份人工智能安全报告。《报告》认为，人工智能是新一轮科技革命和产业变革的核心技术，被誉为下一个生产力前沿。具有巨大潜力的 ai 技术同时也带来两大主要挑战：一个是放大现有威胁，另一个是引入新型威胁。

数据显示，在2023年，基于ai的深度伪造欺诈暴增了3000%，基于ai的钓鱼邮件数量增长了1000%。据了解，奇安信威胁情报中心监测发现，已有多个有国家背景的apt组织利用ai实施了十余起网络攻击事件。同时，各类基于ai的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造(deepfake)、黑产大语言模型、恶意ai机器人、自动化攻击等，在全球造成了严重的危害。

《报告》指出，ai与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。ai技术推动安全范式变革，全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境”。

点击这里查看报告原文

业内普遍预测，未来十年该技术的恶意使用将迅速增长，人工智能的恶意使用在网络安全、物理安全、政治安全、军事安全等方面构成严重威胁。

大模型引爆ai热潮 双刃剑效应显现

2022年以后，以chagpt为代表的大语言模型(large language model，llm)ai技术快速崛起，后续的进展可谓一日千里，迎来了ai技术应用的大爆发，展现出来的能力和效果震惊世界。idc调研显示，67%的中国企业已经开始探索 aigc 在企业内的应用机会或进行相关资金投入。idc预测，2026年中国ai大模型市场规模将达到211亿美元，人工智能将进入大规模落地应用关键期。

《报告》认为，“ai是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事”。具有巨大潜力的ai技术同时带来两大主要挑战：一是放大现有威胁，另一个是引入新型威胁。奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，将在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。

研究发现，人工智能已成攻击工具，并带来迫在眉睫的威胁，相关的网络攻击频次越来越高。数据显示，2023年基于ai的深度伪造欺诈暴增了3000%，基于ai的钓鱼邮件数量增长了1000%;奇安信威胁情报中心监测发现，已有多个有国家背景的apt组织利用ai实施了十余起网络攻击事件。各类基于ai的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造(deepfake)、黑产大语言模型、恶意ai机器人、自动化攻击等，在全球造成了严重危害。

在当前波谲云诡、风高浪急的国际形势下，快速发展的ai带来了更加复杂和难以预测的军事威胁，包括相关武器系统的误用、滥用甚至恶用，导致战争不可控性增加。例如人工智能被用在“机器人杀手”等致命性自主武器(laws)上，可能会导致无差别杀戮。数据显示，2024财年，美国国防部计划增加与ai相关的网络安全投资，总额约2457亿美元，其中674亿美元用于网络it和电子战能力。

ai引入或放大12种威胁 业界对ai风险重视不足

《报告》深入研究了基于ai的深度伪造(deepfake)、黑产大语言模型基础设施、利用ai的自动化攻击、ai武器化、llm自身安全风险、恶意软件、钓鱼邮件、虚假内容和活动生成、硬件传感器安全等12种重要威胁，对其技术原理、危害情况、真实案例等进行了深入的剖析，旨在让业界更全面的认识到ai普及带来的两大主要挑战：一方面放大了现有威胁，比如钓鱼邮件、恶意软件和社会工程学等;另一方面是引入了新型威胁，如ai自动化攻击、ai深度伪造等。

以ai武器化为例，据法新社2月10日报道，以色列军队首次在加沙地带的战斗中采用了人工智能(ai)军事技术，包括ai驱动的瞄准器和无人机等.引发了人们对现代战争中使用自主武器的担忧。这些技术正在摧毁对手的无人机，并被用于绘制哈马斯组织在加沙的庞大隧道网络地图等。这仅仅是ai武器化、加剧军事威胁趋势的冰山一角。

《报告》认为，ai与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。

全球知名应用安全组织owasp发布大模型应用的十大安全风险，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外，因训练语料存在不良信息，导致生成的内容不安全，正持续引发灾难性的后果，危害国家安全，公共安全甚至个人安全，这些都亟需业内的高度重视和积极应对。

ai威胁该如何应对?

《报告》从安全行业、监管机构、政企机构、网络用户等群体角度，给出了应对ai威胁的建议。其中安全行业需要继续发挥能力优势，确保人工智能本身的安全性，并积极利用人工智能用于安全防护;监管机构需要对ai潜在风险与影响保持持续关注，在制度和法规上及时提供支持;政企机构需及时部署ai安全框架和解决方案，以及ai安全评估服务和检测工具，还要依托ai推动安全升级;网络用户在尝试最新人工智能应用的同时，同样需要更新安全知识，形成良好的安全习惯。

面对ai网络攻击、ai武器化等日益严峻的安全威胁，《报告》认为，ai技术将会推动安全领域发生范式变革，全行业需启动人工智能网络防御推进计划。新一代ai技术与大语言模型改变安全对抗格局，将会对地缘政治竞争和国家安全造成深远的影响，各国正在竞相加强在人工智能领域的竞争，以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境”。

（来源：奇安信）

以上是网络信息转载，信息真实性自行斟酌。