在上述背景下，世界各国都高度关注人工智能的风险隐患，推动监管需求不断走高。尽管目前美国等西方国家的主论调是放松监管，但从长远趋势来讲，监管呼声和需求将会越来越高。特别是近一年多来，国际AI企业、大咖纷纷表示，通用AI奇点将至。时间从几十年到十几年，众说纷纭，甚至有学者认为几年内就将实现通用智能。在这种快速发展情况下，安全问题引发更多人的担忧。主要动向有：
一是AI领军人物纷纷呼吁重视安全风险。此次大会嘉宾诺奖得主杰弗里·辛顿教授，几年来持续呼吁高度关注安全问题。图灵奖得主本吉奥一直致力于推进人工智能安全方面的研究和治理。杨立昆尽管相对乐观，但依然提出要在设计中间就把安全考虑好。前谷歌CEO施密特在最近的访谈中也多次强调，人工智能的发展潜能被严重低估，必须高度关注安全风险。
二是全球主要国家和组织积极应对安全挑战。非常典型就是欧盟，欧盟主要把自己定位为人工智能的应用方，制定《人工智能法案》，采取强监管的策略，针对10的25次方flops运算大模型设定严格监管要求。美国特朗普政府持续放松监管，主要是为了保持技术领先地位。另外，国际组织，无论是联合国还是G7等，都在广泛推进治理策略的制定。还有学术团体，包括产业界，也纷纷提出政策建议，希望能够把发展和安全统筹好。
三是先发国家纷纷成立专门机构研究安全对策，抢占治理话语权和领导权。在美、英牵头下，全球近十个国家成立了AI安全研究机构，开展安全风险、安全测评和安全治理的技术和对策研究。特别值得关注的是，西方多国发起了全球AI安全峰会，组建了安全研究机构网络，开展了大模型跨国间安全测评，着手国际治理的谋划和实践。从前年的伦敦峰会，到去年的首尔峰会，再到今年初的巴黎峰会，治理方向和主题也出现一些新的变化。前两次是安全优先，巴黎峰会主题则更加宽泛，强调开放、包容，促进发展。多方和区域的作用得到不断强化，科技界、产业界等多方机构从技术、应用、标准等方面积极发声，推动更加灵活的治理。再者，就是地缘政治更加极化。过去，欧洲、中国、美国治理方面各成体系。到今年，全球治理基本聚焦美国和中国。几天前，美国发布了“人工智能行动计划”，明确提出通过“加速AI创新，建设AI基础设施，引领国际AI外交和安全”这三大核心支柱，赢得全球AI竞赛。昨天，我国也公布了人工智能全球治理行动计划。针对人工智能治理的竞争，日益激烈。此外，国外人工智能安全研究所的最新变化也值得关注：美国将安全研究所改名为标准和创新研究中心；英国把研究所名称中的安全由safety改成security。一个名称改变、一个名词之差，表明了人工智能安全关切的内在变化，即更加关注安全隐患与社会发展的深度关联。
四是我国在AI治理方面系统布局、稳步推进。我们坚持统筹发展与安全，发布了推进人工智能技术发展，安全监管和伦理规范的系列文件；秉承“以人为本，智能向善”，公布了人工智能治理全球倡议。我们坚持边发展边治理的基本原则，希望探索出一条具有中国特色和中国智慧的治理路径。我们有战略规划和政策方面的引导，牵头组织相应技术攻坚和产业布局，在社会治理方面，网信办在加强大模型伦理对齐和合规备案的同时，与多部委齐心协力，在全国推进人工智能社会应用和治理实践。上海杨浦区就是其中一个典型实践。
在探索安全治理过程中，测评技术成为衡量大模型智能水平、安全性能等指标的重要手段。近年来，国内人工智能测评大致分为四个方面，第一类是合规性测评，支撑模型备案，这方面工作越做越细，效果越来越好；第二类是商业发展的评比，在促进技术迭代，激发应用创新等方面积极作为；第三类是基准测试，主要是学术领域对模型算法、数据集、软件栈等各种功能组件的性能评判，有效促进技术发展和安全提升；第四类是系统评估，维护国家安全，主要是对大模型应用从硬件、软件、模型、数据、应用等多个层面、多个维度的测试评估，促进技术自主可控、科技自立自强，也取得了显著成效。
