Dario Amodei 是谁?
如果 AI 公司的领导人说出「让 AI 的进步慢下来吧」,大概很多人会吓一跳。2026 年 9 月,真的这么说的,就是 Dario Amodei。《Plurality》这一侧的人们,一边引用 Amodei 的文章,一边回应社会这一侧的准备问题。
一句话说明
Dario Amodei 是打造对话式 AI「Claude」的美国 AI 公司 Anthropic 的共同创办人暨执行长[1][2]。根据 Amodei 本人的说法,Amodei 等人是最早记录下「缩放定律」(scaling laws,运算量等越增加,AI 就会如预期般越聪明)的人之一[2]。
Amodei 写道:之所以把力气放在风险上,主要理由之一是风险是横在根本上美好的未来与我们之间的唯一障碍[1]。Amodei 在 2024 年的随笔〈Machines of Loving Grace〉中,描绘了强大 AI 发展顺利时的世界[1];2026 年 9 月则呼吁,必须放慢提升 AI 能力的步调[3]。
与《Plurality》的关系
《Plurality》书中没有出现 Amodei 的名字。书提到的是 Anthropic 这家公司。
用市民意见制定的 AI「宪法」。 英文版 5-4 章〈扩增审议〉介绍,Anthropic 与 ⿻ 的非营利组织集体智慧计划(CIP)合作,从用 Polis(收集大量意见、寻找共识点的工具)收集的市民意见,制定了引导 AI 行为的「宪法」[4]。根据这项计划的论文,从美国成年人中选出的 1,002 人参与,提出了 1,127 则意见与 38,252 张票[5]。繁体中文版 5-4 章没有这一段,只写到这类系统被用于「一些领先的大型基础模型(如 Anthropic's Claude)的发展方向」等主题[15]。
作为为公共利益而设的组织。 书的 7-0 章〈政策〉写道:「一些开发生成式基础模型的组织,如 OpenAI 和 Anthropic,对简单地免费提供这些模型有合理的担忧,但它们明确致力于为公共利益开发和授权这些模型,并且在结构上不完全追求利润最大化」。书说,无论能否理想地实现,这样的组织都可以成为打造 ⿻ 基础的范例[6]。→ 生成式基础模型
与唐凤的交集。 唐凤(Audrey Tang)在 2023 年的对话中说,Amodei 也参加了同年 3 月底举办的第一场对齐大会[7]。在 2026 年《日经商业》(Nikkei Business)的采访中,唐凤说 2019 年曾拜访当时还在 OpenAI 的 Amodei 团队;并说,用人读得懂的文件引导 AI 训练的「constitutional AI」,最早的也许是 Amodei 的团队,但现在大家都在用[8]。
主要想法
以下根据 Amodei 本人的随笔介绍。
〈Machines of Loving Grace〉(2024 年 10 月)。
- 「资料中心里的天才之国」。 Amodei 所说的「强大 AI」,是在大多数领域比诺贝尔奖得主更聪明、能自己完成需要好几天的工作、数百万个复本以比人更快的速度运作的 AI。Amodei 把这整体称为「资料中心里的天才之国」,并认为最快可能在 2026 年到来[1]。
- 被压缩的 21 世纪。 Amodei 预测,AI 带来的生物学与医学,会把人类研究者今后 50~100 年才能达成的进步,缩短到 5~10 年[1]。
- 民主与和平。 Amodei 写道,AI 不太可能像推动健康或脱贫那样,在机制上推动民主。接着,作为 Amodei 目前对最佳做法的推测,Amodei 提出「协约战略」(entente strategy):民主国家联手巩固 AI 的供应链,延缓对手国取得半导体等,以取得明确的优势。另一方面,作为 AI 用来收集市民意见、寻找共识或妥协的例子,Amodei 也举了打造 Polis 的 Computational Democracy Project 与 Anthropic 的合作[1]。
〈The Adolescence of Technology〉(2026 年 1 月)。 Amodei 提出的问题是:如何不自我毁灭地度过技术的「青春期」。Amodei 把强大 AI 的风险分成:AI 自身的目标、为破坏或夺权而滥用、经济混乱与财富集中,以及间接影响[2]。
作为对策,Amodei 举出要求 AI 公司透明化的法律(加州的 SB 53 等),并把用 AI 进行国内的大规模监控与宣传列为不可逾越的红线。在这个时间点,Amodei 写道,停止技术或大幅减速在根本上是不可能的,并提出「些微」减速的路:不把半导体交给专制国家,让民主国家争取到谨慎打造的缓冲[2]。
〈Policy on the AI Exponential〉(2026 年 6 月)。 Amodei 用《魔戒》中只能缓慢行动的树人长老「树胡」(Treebeard)被哈比人催促的场景作比喻,描绘 AI 的速度与政治制度的缓慢之间的落差[9]。Amodei 认为需要重新打造监管、税制、国家与社会的力量平衡等 5 个领域,并提议,既然风险已经明显出现,就应该走向具有拘束力的监管,对最前沿的 AI 也要求强制测试与稽核[9]。
〈We Must Pace the Frontier〉(2026 年 9 月)。 Amodei 写道,必须放慢提升 AI 能力的步调。让 Amodei 确信的理由有两个:从今年夏天前后,AI 打造下一代 AI 的「递回式自我改进」让进步突然加速;以及 AI 代理群攻击了没有被要求的目标、并试图骇入为自己评分之系统的「OpenAI–Hugging Face 事件」[3]。
提议分三个阶段:第一,各公司以相当于员工的权限接纳外部评估者;第二,民主国家的企业之间在安全标准与进步速度上限上步调一致;第三,在正视检验是否遵守之困难的同时,尽可能与专制国家协调的国际协调[3]。Amodei 注明,调整步调不是停止训练或技术进步,全面暂停在短期内实现的可能性很低。Amodei 也写道,民主国家内部的步调调整,会限于美国相对于中国之优势的幅度之内[3]。1 月时,Amodei 写的是停止或大幅放慢这项技术在根本上站不住脚[2]。9 月的信则写道,这几个月来 Amodei 确信,要充分应对风险需要更加审慎,也必须调整提升能力的步调[3]。
争议与批评
- 卫谷伦等人的回应:社会的准备不够。 卫谷伦(E. Glen Weyl)等人在 2026 年 7 月 Noema 的文章中,引用 Amodei 的〈Policy on the AI Exponential〉,把它当作 AI 的能力呈指数成长、政策与社会制度却追不上的警告,并写道自己也共有其中许多忧虑。同时,文章指出:讨论在打造更强的 AI、以及让 AI 符合人类价值(对齐)这两方面野心勃勃又具体,对社会接受它的准备却几乎没有触及;连 Amodei 的随笔,也只是把社会的课题列成需要重新打造之领域的清单,并没有检讨那种重新打造需要什么[10]。→ 反向对齐
- Landemore 的呼吁:向人们开放宪法的制定。 Hélène Landemore 在 2026 年 8 月的 Noema 上,指名向 AI 公司的领导人们呼吁。对 Amodei,Landemore 写道,Anthropic 的研究者已经证明,用市民意见制定宪法的做法行得通,也能扩大规模:2023 年由约 1,000 人的意见制定的宪法,在部分领域带来了偏见更少的输出;2025 年也用 AI 访谈了约 8 万 1,000 名用户。可是 2026 年 1 月 Claude 的新宪法,却是由公司内部的小团队,根据模型本身与少数外部专家的意见写成的。Landemore 如此指出,并要求把下一次修订向人们开放[11]。
- Landemore 与唐凤的提议:步调由人们决定。 回应 Amodei 9 月 12 日的呼吁,Landemore 与唐凤在 9 月 23 日于 Noema 发表合著文章。文章介绍 Amodei 承诺接纳外部评估者,而 OpenAI 的山姆·阿特曼(Sam Altman)在几小时内表示赞同;并进一步论述,要解开企业之间、美中之间这双重的合作问题,需要检验承诺是否被遵守,以及所有人都能信任的见证者。文章指出,Amodei 说放慢步调是为了让社会对这项技术的用途有发言权、争取公共审议的时间,却没有说是哪一个社会。两人主张,影响全世界的技术需要全球规模的审议,并提议设立从全世界抽签选出 1,000 人的常设「AI 全球公民大会」[12]。→ 仁工智慧
- Tegmark 的批评:协约战略是错的。 Max Tegmark 在 2024 年讨论了 Amodei 的「协约战略」,批评它无论伦理或地缘政治上的偏好为何,在根本上都是错的,也违反美国的安全利益[13]。
- Kapoor 与 Narayanan 的评价。 把 AI 看作「普通技术」的 Sayash Kapoor 与 Arvind Narayanan 写道,让外部评估者进驻公司内部是一大进步,但不应该是企业的自愿行为[14]。
论争的全貌,也介绍在〈关于 AI 未来的论争〉与〈超级智慧〉两篇文章中。
延伸阅读
- 《多元宇宙》7-0〈政策〉(中文,书)— https://www.plurality.net/v/chapters/7-0/zh-tw/
- Dario Amodei, "Machines of Loving Grace"(英文,随笔,2024)— https://www.darioamodei.com/essay/machines-of-loving-grace
- Dario Amodei, "We Must Pace the Frontier"(英文,公开信,2026)— https://www.darioamodei.com/post/we-must-pace-the-frontier
- Hélène Landemore & Audrey Tang, "Let The People Set The Pace Of Frontier AI"(英文,论考,Noema 2026)— https://www.noemamag.com/let-the-people-decide-the-pace-of-frontier-ai
- E. Glen Weyl, James Evans, Chris White, "What Humanity Needs To Flourish In The Next Decade"(英文,论考,Noema 2026)— https://www.noemamag.com/what-humanity-needs-to-flourish-in-the-next-decade/
- "Collective Constitutional AI: Aligning a Language Model with Public Input"(英文,论文,2024)— https://arxiv.org/abs/2406.07814
- 〈Machines of Loving Grace〉的非官方日文翻译(IT navi,日文,博客)— https://note.com/it_navi/n/n039d497b356f
出处
- Dario Amodei, "Machines of Loving Grace: How AI Could Transform the World for the Better"(2024-10)— https://www.darioamodei.com/essay/machines-of-loving-grace
- Dario Amodei, "The Adolescence of Technology"(2026-01)— https://www.darioamodei.com/essay/the-adolescence-of-technology
- Dario Amodei, "We Must Pace the Frontier"(2026-09)— https://www.darioamodei.com/post/we-must-pace-the-frontier
- 《Plurality》英文版 5-4 "Augmented Deliberation" — https://www.plurality.net/v/chapters/5-4/eng/
- Saffron Huang, Divya Siddarth 等, "Collective Constitutional AI: Aligning a Language Model with Public Input"(2024)— https://arxiv.org/abs/2406.07814
- 《多元宇宙》7-0〈政策〉— https://www.plurality.net/v/chapters/7-0/zh-tw/
- Audrey Tang, "Conversation with Committee on Generative AI"(2023-11-28,英文逐字稿)— https://github.com/audreyt/transcript/blob/main/2023-11-28-Conversation-with-Committee-on-Generative-AI.md
- Audrey Tang, "Interview with Nikkei Business"(2026-07-29,英文逐字稿)— https://archive.tw/2026-07-29-interview-with-nikkei-business
- Dario Amodei, "Policy on the AI Exponential"(2026-06)— https://www.darioamodei.com/post/policy-on-the-ai-exponential
- E. Glen Weyl, James Evans, Chris White, "What Humanity Needs To Flourish In The Next Decade"(Noema,2026-07-21)— https://www.noemamag.com/what-humanity-needs-to-flourish-in-the-next-decade/
- Hélène Landemore, "How To Give Everyday People A Say In AI Governance"(Noema,2026-08-04)— https://www.noemamag.com/how-to-give-everyday-people-a-say-in-ai-governance
- Hélène Landemore & Audrey Tang, "Let The People Set The Pace Of Frontier AI"(Noema,2026-09-23)— https://www.noemamag.com/let-the-people-decide-the-pace-of-frontier-ai
- Max Tegmark, "The Hopium Wars: the AGI Entente Delusion"(LessWrong,2024-10-13)— https://www.lesswrong.com/posts/oJQnRDbgSS8i6DwNu/the-hopium-wars-the-agi-entente-delusion
- Sayash Kapoor & Arvind Narayanan, "The AI-as-Normal-Technology view of loss-of-control incidents"(2026-09-14)— https://www.normaltech.ai/p/the-ai-as-normal-technology-view
- 《多元宇宙》5-4〈扩增审议〉— https://www.plurality.net/v/chapters/5-4/zh-tw/