State of AI: 2024 人工智能报告之 Politics 篇

上周四 stateof. Ai ¹出品了 2024 年度人工智能报告²。本文编译自其 2024 年报告，并附带简单分析，强烈推荐阅读原报告。

以下为全文目录，受限于篇幅，本报告将分为 4 篇发布，本篇为第 3 篇，主要关注过去一年中 AI 在政策监管、经济影响等方面进展。

1. State of AI 2024 报告年度总结
2. 科研进展：技术突破及其能力
3. 产业界发展：当前 AI 创新的商业化应用以及对应的商业化影响
4. 政治影响：AI 监管，AI 产生的经济影响，AI 的地缘政治演进
5. AI 安全：明确和减轻将来庞大 AI 系统可能产生的灾难性影响
6. 对 2025 年的预测

针对大模型的立法与监管

The US introduces limited frontier model rules via executive order…

在 2023 年 7 月获得大型实验室的自愿承诺后，白宫决定将这些承诺转为具有约束力的规定，拜登在当年 10 月签署了关于前沿模型监管的行政命令³。

第 14110 号行政命令主要针对政府机构。措施包括

• 要求制定网络安全标准
• 要求联邦机构发布人工智能使用政策
• 指示各机构应对与人工智能相关的关键基础设施风险
• 并委托进行劳动力市场研究

最值得注意的是，该行政命令要求实验室在公众部署之前，通知联邦政府并共享安全测试结果，前提是所使用的模型在训练中超过 10^26 FLOPS 的计算能力（略高于 GPT-4 和 Gemini Ultra）。它还对从事生物合成 AI 应用的公司提出了额外要求。

行政命令的一个重大缺点是，它们可以随时被撤销。即将到来的总统选举的共和党可能恰恰会这么做。

…while states pursue their own, more controversial, rules

Insert image from https://www.multistate.ai/artificial-intelligence-ai-legislation

由于在更广泛的联邦人工智能监管方面几乎没有出现两党共识的前景，各州正在推动自己的人工智能法律⁴，最引人注目的是加利福尼亚州的 SB 1047⁵。

Insert image from https://sd11.senate.ca.gov/news/senator-wieners-groundbreaking-artificial-intelligence-bill-advances-assembly-floor-amendments

到目前为止，法案主要集中在人工智能使用的披露、高风险用例的报告以及消费者选择退出。例如，科罗拉多州的立法机构提出了对高风险系统的报告要求，并创建了一个用于算法歧视风险的报告机制。

然而，最全面且具争议性的是加利福尼亚州的 SB 1047。该法案由存在风险组织 人工智能安全中心 赞助，旨在为基础模型创建安全性和责任制度。

法案的原始草案令行业感到不安，因其采用了非常规的方法来确定适用模型，复杂的报告和合规程序（伴随伪证的刑事处罚）以及一个新的政府机构来监督前沿模型。在科技公司、风险投资家和一些知名州内民主党人的反对下，该法案经过了重大修订。虽然 Anthropic ⁶ 和 Elon Musk ⁷支持修订后的版本，但 OpenAI⁸、Meta ⁹和一个代表大型科技公司的贸易团体¹⁰则持反对态度。

Insert image from Elon Musk https://x.com/elonmusk/status/1828205685386936567 Insert image from Lecun https://x.com/ylecun/status/1811740052403220796

加州州长 Gavin Newsom 否决了该法案，认为这有可能给公众带来“虚假的安全感”，同时“限制了推动公共利益发展的创新”。

The EU AI Act finally passes into law, following frantic last-minute lobbying

在 3 月，欧洲议会通过了人工智能法案，此前经历了一场密集的法国和德国主持的旨在削弱某些条款的运动。然而，关于实施的问题仍未得到解答。

随着该法案的通过，欧洲现在成为全球首个采用全面人工智能监管框架的地区。执法将分阶段实施，其中对 不可接受风险（如欺骗、社会评分）的禁令预计将在 2025 年 2 月生效¹¹。

法国和德国成功推动了对基础模型监管的分级调整，基本规则适用于所有模型，而在敏感环境中部署的模型则需遵循额外规定。对面部识别的全面禁令现已被削弱，允许执法部门使用该技术。

尽管行业对该法律表示担忧，但经过几个月的咨询和大量的辅助立法，仍然有时间来塑造实施的具体细节，前提是行业能够积极参与。

Big US labs struggle to navigate European regulation

欧盟人工智能法案与长期存在的 GDPR 隐私和数据转移要求的结合，使美国实验室在调整其服务方面面临困难。

Anthropic 的 Claude 在 2024 年 5 月之前无法为欧洲用户提供服务¹²，而 Meta 则不会向欧洲客户提供多模态模型。

同时，苹果公司对欧盟的数字市场法案表示反对，称其互操作性要求与其隐私和安全立场不兼容。因此，苹果推迟了 Apple Intelligence 在欧洲的发布。

Governments shine a spotlight on the scraping of user data

随着模型构建者寻求更多数据以满足其无止境的需求，opt-out 政策正受到越来越多的审查。

在澳大利亚立法者的质询下，Meta 的全球隐私主管承认，该公司自动抓取自 2007 年以来的帖子用于模型训练，前提是用户没有明确将其标记为私密¹³。

在监管压力下，欧盟用户获得了全球 opt-out 的选项。该公司已确认，除非受到当地监管机构的强制要求，否则不会向用户提供此选项。

英国信息专员办公室在 6 月要求 Meta 暂停相关活动，但在公司给予用户反对的时间窗口后，允许其继续进行¹⁴。

Meta 并非孤军作战。X 在经历了一场法庭斗争后，已停止使用欧洲用户的公共帖子，而爱尔兰数据保护委员会目前正在调查 Alphabet 使用用户数据训练 Gemini 的情况¹⁵。

The UK moves towards frontier model legislation (slowly)

新的英国工党政府已明确表示，计划打破其前任仅通过现有立法监管人工智能的做法，但这种变化是相对微妙的¹⁶。

在 11 月的 Bletchley 峰会上（稍后将详细介绍），AWS、Anthropic、谷歌、谷歌 DeepMind、Inflection AI、Meta、微软、Mistral AI 和 OpenAI 自愿同意“深化”对他们提供给英国政府的访问权限。

Anthropic 已向英国人工智能安全倡议（AISI）提供了 Claude Sonnet 3. 5 的预部署访问，而谷歌 DeepMind 则提供了一些 Gemini 系列的访问权限。新成立的英国政府表示，将通过立法将这些先前的自愿承诺法典化，但暗示不会追求更广泛的监管，隐含地排除了欧盟式的做法。

观察人士原本认为这项立法将立即公布，但由于政府在面对行业反对时进行咨询，时间表已延长。这一进程继承了前政府在类似问题上进行的行业咨询，结果显示立即进行前沿模型监管是没有必要的，但未来可能会发生变化。

China’s AI regulation enters its enforcement era

中国是首个开始制定生成性人工智能监管框架的国家，自 2022 年以来，出台了全面的（最初为自愿）指导方针。现在，该国的审查机制正在介入实施。

尽管中国顶尖实验室在中国网络空间管理局的监督下继续推出最优模型，政府仍然希望确保这些模型在避免对政治问题给出“错误”答案的同时，避免给人以被审查的印象。

在发布模型之前，实验室必须将其模型提交进行测试，回答数万问题以校准拒绝率。它们通常通过构建类似垃圾邮件过滤器的分类器来实现这一目标。同时，出现了一批咨询公司，专门协助实验室应对这些要求。

此外，还有其他不便之处，包括禁止国内访问 Hugging Face。官方认可的“主流价值语料库”充当了劣质的替代训练数据源。

虽然像阿里巴巴、字节跳动和腾讯这样的大公司能够承受合规成本，并利用其全球业务应对某些限制，但初创企业可能会受到更大影响。

美国对中国的高级芯片出口管制

US export and investment controls on China tighten

在最后一份 State of AI Report 发布不久后，美国对 NVIDIA 的符合制裁要求的 A 800 和 H 800 芯片实施了出口管制，但其行动范围已经扩大。

美国不仅禁止出口某些物品，还积极试图干预囤积行为，要么阻止货物运输，要么向国际合作伙伴施压，在限制生效的截止日期之前采取行动。这一措施影响了 NVIDIA¹⁷、英特尔和 ASML¹⁸ 等公司。

随后，美国商务部发出信函，指示美国制造商停止向中国半导体制造商中芯国际最先进的设施销售产品¹⁹。

美国不仅在出售技术方面加大了力度，还计划阻止或限制对中国初创公司的投资，这些公司在被认为对国家安全有害的广泛应用领域工作，包括半导体、国防、监控以及音频、图像和视频识别²⁰。

考虑到美国对中国初创公司的投资急剧减少，这一影响在很大程度上将是象征性的。

China’s domestic semiconductor efforts struggle despite impressive paper performance

对美国制裁持怀疑态度的人早已警告，这些制裁可能无意间促进地方创新。尽管政府提供了丰厚的补贴，这些努力仍然面临质量和性能问题²¹。

尽管存在腐败担忧，中国依然加大了其半导体补贴计划。5 月，政府推出了第三个国家支持的投资基金，规模达到 475 亿美元²²。财政部是最大股东，此外还有一些中国银行的联盟。

华为发布的 Ascend 910 B 引起了轰动，这是一款用于 AI 训练的 7 nm 芯片，理论上与 NVIDIA A 100 相当。

然而，中芯国际在大规模生产这些芯片时遇到了困难：据报道，四分之三的产品存在缺陷²³。该公司的云服务首席执行官几乎承认，未来可预见的时间内，公司在 7 nm 以上的创新将面临挑战²⁴。

insert image from https://www.businesskorea.co.kr/news/articleView.html?idxno=218699

以前备受关注的半导体初创公司，如 X-Epic，已开始裁员，因为市场已经降温，而存储芯片制造商长江存储（YMTC）在去年底遭遇了严重的财务困境²⁵。

But the US CHIPS act begins to prove the critics wrong

拜登政府对工业战略的拥抱引发了一些评论员的怀疑和反对，他们指出了浪费开支和延误的问题。然而，台积电在亚利桑那州的工厂现在已提前投产²⁶。苹果的移动处理器将通过 5 nm 工艺在美国制造，该设施预计将在明年进入全面生产。

Big in Japan?

由于政治和文化原因，日本在历史上风险投资和人工智能初创公司的活动一直很平静。然而，政府如今突然渴望参与这一领域²⁷。

日本政府视风险投资和人工智能为刺激长期停滞经济的潜在工具，同时，日本也为投资者提供了一个机会，让他们不必依赖资金雄厚的海湾国家。

总部位于东京的 Sakana 已经从美国投资者如 Lux Capital 和 Khosla Ventures 那里筹集了 2 亿美元，而据报道，a 16 z 也在计划设立日本办公室。

与此同时，日本政府资助的投资机构已投资于美国风险投资公司 NEA 的两个基金，并正在积极探索其他机会。三菱 reportedly 正在投资斯坦福大学的 Andrew Ng 的第二个 AI 基金²⁸。

此外，该国还以轻松的监管方式自豪，专注于行业主导的监督，并似乎对围绕生成性 AI 的版权主张不太同情。然而，它已建立了一个类似于英国的安全机构。

感受到这一势头，微软宣布将在日本的 AI 和云基础设施上投资 29 亿美元²⁹。

数据中心的进一步建设

Amid sharply rising compute bills, sovereign wealth influence begins to grow

随着前沿实验室的资本支出需求超出传统风险投资所能提供的范围，实验室开始寻求更广泛的资金来源。

在 FTX 倒闭后，其在 Anthropic 的 8%股份主要被阿布扎比的主权财富基金 Mubadala 收购³⁰。由于国家安全原因，沙特的收购提议被拒绝，尽管沙特投资者 Alwaleed Bin Talal 王子及其王国控股公司参与了 X.ai 的 B 轮融资³¹。

最具争议的是，阿联酋的 AI 控股公司 G 42 与 OpenAI 达成了合作，旨在在该国的金融、能源和医疗保健领域开展合作。

G 42 在包括字节跳动在内的知名中国科技公司的持股，引发了美国情报界的恐慌³²。最终，G 42 受到压力，被迫剥离其中国资产，并接受了微软的 15 亿美元投资，微软总裁布 Brad Smith 也加入了董事会³³。

Public compute efforts pale in comparison to private

英国³⁴、美国和欧盟³⁵都开始增加公共计算资源的供应，补贴研究人员和初创企业获取昂贵的硬件。然而，这些努力仍然显得谨慎。

英国最近冻结了对多个项目的投资，最显著的是计划中的爱丁堡国家超级计算设施。

与此同时，欧盟通过竞争性流程使用补助金为初创企业提供少量计算资源，同时提供小额资金（25 万欧元和 200 万个计算小时）。

它最近发布了 AI Factores 计划的提案征集，允许开发者和研究人员访问 EuroHPC 超级计算机网络及其他资源，包括数据存储库、技能培训和联合办公中心——这使得潜在的主办方可以灵活地捆绑各种资源。

美国国家人工智能研究资源现已投入运营，研究人员需申请一年访问权限，前提是他们的研究成果随后以公开方式发布³⁶。

在更大胆的举措方面，印度政府已表示愿意资助一半成本，用于建立一个 10,000 个 NVIDIA GPU 的集群，计划在 18 个月内完成，前提是私人合作伙伴愿意承担部分费用³⁷。

数据中心 Scaling 与电力瓶颈

Rising compute consumption jeopardises Big Tech’s net zero commitments…

大型科技公司已签署了一系列 2030 气候承诺，微软甚至承诺实现碳负排放。然而，人工智能的能源消耗意味着他们目前正朝着错误的方向前进。

根据谷歌 2024 年的环境报告³⁸，该公司的温室气体排放自 2019 年以来增长了48%。

insert image from 31 页 https://www.gstatic.com/gumdrop/sustainability/google-2024-environmental-report.pdf

而微软的碳排放自 2020 年以来增加了 30%³⁹。XAI 的 10 万 H 100 集群被认为是由燃气发电机供电的⁴⁰。

与此同时，高盛估计数据中心的电力需求到 2030 年将增长 160%⁴¹，尽管他们指出，在生成式人工智能热潮之前，需求已经在急剧增加。

insert image from https://www.goldmansachs.com/insights/articles/AI-poised-to-drive-160-increase-in-power-demand

科技公司正试图影响温室气体协议的审查，该协议制定了碳核算的规则⁴²。批评者认为，抵消措施并不能准确代表排放。亚马逊和微软超过 50%的可再生能源来自购买清洁能源证书。

…and energy infrastructure begins to buckle

与人工智能相关的环境挑战与一个常被忽视的限制因素密切相关——物理世界所施加的物理限制⁴³。

马克·扎克伯格表示，指数增长曲线可能需要由 1 GW 电力供电的数据中心（接近一个有意义的核电站的规模），而目前的数据中心仅需 50-100 MW⁴⁴⁴⁵。

Insert image from local as epoch ai

微软和 OpenAI 计划的超过 1000 亿美元的 StarGate 超级计算机内部估计可能需要多达 5 GW 的电力供给⁴⁶⁴⁷。作为对比，格兰库利大坝是美国最大的发电厂，生产 6.8 GW 的电力。

微软将购买重新运营的三里岛核电厂的所有电力输出。这样的设施需要自己的发电厂，因为电网无法承受。爱尔兰、德国、新加坡、中国和荷兰由于容量问题已对数据中心引入了限制⁴⁸。

除了能源外，标准尺寸数据中心的建设者还面临备用发电机和冷却设备数年的等待，以及采购基本组件如电缆和晶体管的挑战。

AI 与战争

AI-first defense challengers scale, but are they exceptions?

自去年报告以来，我们开始看到防务挑战者获得重大合同，但获胜者数量仍然较少，因此现在说一个新的生态系统正在形成还为时尚早。

Anduril 获得了一些关键胜利，在美国空军的协作战斗飞机项目中进入了最后两个选项⁴⁹，扩大了在英国的业务⁵⁰，并在澳大利亚交付了首个无人潜艇⁵¹。

Insert video Anduril

五角大楼的复制者计划专注于可损耗的自主系统，已获得首笔 5 亿美元的资金⁵²。这应该是初创企业的沃土，但首个奖项颁给了上市公司 AeroVironment。

美国国防创新局也在探索使用廉价无人系统⁵³。

在欧洲，Helsing 获得了 54 亿美元的估值，并得到了美国投资者的支持⁵⁴。除了与主要承包商合作，该公司还在致力于将人工智能整合到乌克兰制造的无人机中。

AI shows promise on the frontline in Ukraine, but western hardware underwhelms

当冲突开始时，初创企业热情地将他们的设备送往战争前线进行试用。然而，乌克兰方面并不总是感到满意。

美国初创企业生产的无人机在范围和有效载荷方面常常未能达到基准性能，而它们的高功率设计反而成了缺陷。为了增强安全性而设计的先进通信系统，使其容易被俄罗斯的电子战系统侦测到⁵⁵。

尽管中国的 DJI 无人机仍然无处不在，但乌克兰似乎正在努力建立一个国内无人机和地面机器人初创企业的生态系统⁵⁶。

至少已有 67 种本土制造的无人机获得认证，250 个团队正在研发地面无人驾驶车辆（UGV）⁵⁷。

除了 Helsing，国际合作伙伴在软件方面的帮助仍然显而易见。例如，瑞士自动化初创企业 Auterion 的 Sky Node 正帮助 FPV 无人机从远距离锁定目标，以减轻电子战的影响⁵⁸。

AI 与经济发展

The debate over AI’s economic impact intensifies

2023 年，人们开始讨论不同产业对人工智能的接受程度。虽然一些组织（如国际货币基金组织）继续发布相关研究，但辩论已开始转向人工智能对更广泛经济影响的问题。

著名经济学家 Daron Acemoglu 在一篇 Economic Policy 论文⁵⁹ 和高盛的研究中⁶⁰ 引发了争议，他认为人工智能对宏观经济的影响将很小，预计未来 10 年内总要素生产率提高不到 0.55%，同时加剧不平等。

Insert image from https://economics.mit.edu/sites/default/files/2024-04/The%20Simple%20Macroeconomics%20of%20AI.pdf

Acemoglu 假设人工智能将推动任务的进一步自动化，但对目前资本密集型任务的效率影响不大——这与以往的自动化浪潮不同——同时还会创造出新的“负面”任务（例如，生成错误信息或定向广告）。这些假设引发了批评⁶¹。

在自动化方面，影响力经济评论员 Noah Smith 认为，比较优势在可预见的未来可能仍会存在⁶²——尽管人工智能在任何时候都将比人类更高效，但能源和计算成本将激励人们仅将其应用于最重要的任务。

这也是个好消息，因为许多人工智能界重要人物（如 Sam Altman 和 Demis Hassabis）提倡的普遍基本收入作为应对人工智能影响的政策杠杆，可能并不是灵丹妙药。Sam Altman 资助的一项大规模试验⁶³ 发现，普遍基本收入略微减少了工作时间，但对教育或创业的提升影响不大。

AI 与媒体传播/选举

Misinformation studies boom, but evidence of AI’s effectiveness remains thin

由于与西方观众的直接沟通能力有限，Russia Today 被发现通过一个名为 Meliorator 的工具运营着 1000 个假 X 账户⁶⁴。此外，还有迹象表明与俄罗斯国家有关的行为者在以色列-哈马斯冲突中使用假图像来制造争议。但几乎没有证据表明这些材料被超过少数人观看或相信⁶⁵。

Insert image from https://www.ic3.gov/Media/News/2024/240709.pdf

最近发表在 Nature 杂志上的一项综述⁶⁶ 对这个问题的重要性泼了冷水，发现研究往往过于关注边缘群体，夸大了机器人的作用，并未能真正展示其现实世界的影响。

在类似的研究中，艾伦·图灵研究所的一项研究⁶⁷ 发现，AI 驱动的虚假信息对今年的英国或欧洲选举没有影响，相关信息量低，曝光主要限于小规模的政治党派群体。

Insert image from https://cetas.turing.ac.uk/publications/ai-enabled-influence-operations-threat-analysis-2024-uk-and-european-elections

Is AI going to be nationalized? (Spoiler alert: no)

随着能力的加速提升和与中国的紧张关系加剧，一小部分声音建议美国政府可能需要介入，启动一个新的曼哈顿计划。然而，并不是所有人都对此感到信服。

前 OpenAI 员工 Leopold Aschenbrenner 通过 Situational Awareness 这份 165 页的 PDF 文件⁶⁸ 重燃了这一讨论，认为根据 Scaling Law，到 2027 年实现通用人工智能（AGI）是合理的，并指出“国家领先的人工智能实验室基本上是在把 AGI 的关键秘密毫无保留地交给中国共产党”。

Leopold Aschenbrenner 提倡政府国有化主要人工智能实验室，并建立一个国家级的 AGI 项目。

批评者指责 Aschenbrenner 过于危言耸听，并质疑他的时间表，指出数据、能源和计算能力的限制。

然而，显然政府和实验室都在更加认真地对待这些问题。OpenAI 任命了退役美国陆军将军 Paul M. Nakasone 为董事会成员⁶⁹，并成立了新的安全与保障委员会⁷⁰。

这项举措是在报告显示该公司的系统去年遭到黑客攻击之后采取的⁷¹。

参考资料