在近日举办的第八届啄木鸟数据治理论坛上，中国工程院院士、国家保密科学技术委员会副主任吴世忠分享了对人工智能安全与治理现状的观察。

中国工程院院士、国家保密科学技术委员会副主任吴世忠。

他提到，AI在带来发展奇迹的同时，安全隐患也相继浮出水面。比如，2023年基于深度伪造的诈骗暴增3000%，钓鱼邮件增长了1000%，有的还伪造了名人政要的视频。此外AI赋能勒索病毒，数据窃密和网络诈骗等，也给网络安全带来新挑战。

对此，全球范围内加强AI监管的呼声尤为急迫，相关的应对举措也更为迅速。据吴世忠院士观察，目前相关国家正从早期设机构、定原则，逐步推进到制定标准和研发工具，越来越注重通过政策和技术落地来推动“最佳实践”，全球治理进入提速换挡的关键期。

当天论坛上，吴世忠院士从发展、生态、安全和治理四个维度勾勒了AI发展的总体态势。就发展而言，当前AI技术可谓日新月异，它已成为一个重大的科技创新和重要的发展动力。

从2022年底GPT的横空出世，到今年初SORA的文生图景，从“大力出奇迹”的大模型到一举天下知的GPU（图形处理器），“短短三年内，AI不仅迅速改变了科学范式，而且在深度探究极限推理。”吴世忠说。

基于这样巨大的发展潜力，AI成为各国高度重视的战略科技，大国之间积极开启布局，抢占先机。在吴世忠院士看来，目前AI已进入“大算力+大模型+大数据+大应用”的时代。“算力即是权力，模型孕育智力，数据涵养能力，应用形成实力——这既是当前发展的主流生态，也是大国竞争的主要赛道。”

需要关注的是，技术是一把双刃剑。一方面，今年诺贝尔物理学奖颁给了两位AI先驱，诺贝尔化学奖也将一半奖项授予“在蛋白质结构预测方面取得突破”的AI领域科学家。这从某种程度上肯定了AI向善的根本作用，也反映了AI正推动科学研究的范式转变，成为物理学、化学、生物学、医药等多个领域解决复杂科学问题的重要工具。

另一方面，AI的广泛应用也在极速放大安全风险。着眼于近忧层面，吴世忠院士提到深度伪造技术的危害，AI赋能勒索病毒、数据窃密和网络诈骗等安全新挑战，以及在智能交通、智慧医疗等领域，也带来复杂的价值对齐需求。

更深层的忧虑则体现在，AI会失控吗？它到底是人类的伙伴、助手，还是可能反过来控制人类？基于这样的担忧，超过350名AI领域的专家曾联合发布声明，呼吁将AI与流行病、核武器的风险进行对标。甚至有科学家警告，AI的“奥本海默时刻”（原指研发和使用核武器的过程中所面临的道德和伦理困境）即将到来。

“虽然业界对AI安全的远虑也有不同声音，但对智能时代的安全认知却日渐清晰。”吴世忠院士认为，不同于IT时代的网络安全，数据时代的信息安全，今天面对的是智能时代的智慧安全，它的内涵外延更加丰富；这是AI自身安全（Safety）、AI攻防安全（Security）和伦理道德安全（Ethics）的系统叠加和综合集成。

所以，“构建可信的AI自身安全，运行安全的AI攻防安全，治理负责任的AI伦理道德，应当是智能时代给安全治理提出的严峻挑战。”他说。

当天论坛上，吴世忠院士还分享了中国探索AI治理的路径与方向。他提到在顶层设计方面，据不完全统计，截至目前已有超二十项人工智能相关国家政策，地方性政策文件甚至超百件。

2017年3月，“人工智能”被首次写入国务院政府工作报告。今年3月，政府工作报告又将“人工智能+”上升到行动层面，明确提出深化大数据、人工智能等研发应用。不久前刚举行的中央经济工作会议，再提开展“人工智能+”行动，培育未来产业。

梳理这些政策文件，吴世忠院士发现，我国政策治理视角聚焦于鼓励技术创新、建立标准规范、安全风险治理和科技伦理治理四个方面。政策治理对象，主要体现在数据、算法和生成内容上。在治理主体上也表现出多元化——不仅有政府部门，还有企业、行业协会、科研院所、标准化组织等，形成了软规与硬法相结合、多元主体协同治理、多样化举措并举的敏捷治理模式。

值得一提的是，中国也在积极提出AI国际治理的方案。比如今年7月1日，第78届联合国大会协商一致通过中国主提的加强人工智能能力建设国际合作决议，140多国参与联署。这份决议旨在帮助各国特别是发展中国家从AI发展中平等受益，致力于弥合数字鸿沟。

基于以上观察，吴世忠院士对AI安全与治理提出了自己的建议。他认为面向未来，我国要始终坚持强技术、重安全、引人才、推应用的方向。不断推动产业链核心关键环节的国产化；深入推进和加强数据治理，布局建设国家级人工智能安全风险测评体系和能力；广泛吸纳海外高端人才丰富我国人才储备；统筹重点行业应用试点以提升人工智能产业实力和影响力。

“人工智能的安全与治理，既是一个复杂的难题，也是一项艰巨的任务。”吴世忠院士表示，希望更多人关注重视并参与AI的治理实践，为发展可审核、可监督、可追溯和可信赖的AI贡献力量。