一直以来,OpenAI 的 Sam Altman、Google DeepMind 的 Demis Hassabis、Anthropic 的 Dario Amodei,这三家顶级 AI 公司的负责人很少在同一件事情上站在一起。但是他们最近联合签署了一封写给美国国会的信 [1],要求立法强制合成 DNA 和 RNA 的公司对客户订单开展安全筛查。
信里说 AI 正在快速进步,曾经那些能够阻止坏人获得生物武器的知识门槛有可能被大幅削弱。事实上,2017 年就有加拿大研究人员花 10 万美元从邮购渠道买到了 DNA 片段,并以一己之力拼出了已经灭绝的马痘病毒,而同样的方法完全可以用于制造致命的天花病毒。
(来源:公开信)
合成 DNA 由来已久,从 20 世纪 50 年代科学家首次成功合成 DNA 以来,这个过程早已高度自动化。全球有几十家公司使用商用合成仪来打印定制基因序列,然后卖给科研机构、药厂和诊断实验室,一般来说合法客户会用它来开发疫苗和实现生物技术突破。
问题在于不是每一家供应商都会仔细审核客户身份,也不是每一家供应商都会检查订单里的基因片段有没有危险。虽然有的供应商只卖给合格的研究机构,但也有人根本不管买家是谁以及要买什么。这时那些心怀不轨的人,完全可以混进去下单。
AI 的发展让这件事变得更麻烦了,以前坏人想做生物武器缺的主要是知识。因为你得知道哪些基因片段组合起来能够产生毒素,还得知道如何把它们组装成一个具备功能的病毒,以前这些知识的门槛很高。AI 则降低了这一门槛,它会把分散在论文、数据库、专利里的零散信息拼在一起,直接告诉不法分子去哪里可以找到不被筛查的供应商,甚至教不法分子通过修改订单来让筛查软件检测不到。
美国斯坦福大学的微生物学家兼生物安全专家 David Relman 也参与了这封信的签署,他说 AI 能让使用者快速找到那些不做筛查的供应商,还能告诉使用者如何改变订单的性质,这样一来即使是那些做筛查的公司也更难发现一个人想做什么。
筛查技术本身也存在不足,去年微软研究人员发表了一项论文,他们使用 AI 蛋白质设计工具生成了很多存在潜在危险的基因序列,然而这些序列竟然成功绕过了多家公司的筛查软件。这是因为 AI 会推荐和已知危险蛋白质结构相似的新序列,而现有筛查工具完全没见过这些新东西。
早期筛查软件主要对照已知那些的危险序列清单,这就导致坏人稍微改一下序列的排列方式就有可能蒙混过关。事实上,这个问题在学术圈已经讨论了很多年,但是一直没有形成具有法律约束力的规则。
说回这次联名信,其组织方是两个科技政策智库,在特点上一个偏向进步派、一个偏向自由意志派,其实这两个阵营在很多问题上都曾吵得不可开交,但却在生物安全这件事上罕见地达成了一致。
除了开头那三位大佬,签署人还包括微软 AI 负责人 Mustafa Suleyman、Meta 首席 AI 官 Alexandr Wang,以及 Twist Bioscience 和 Ansa Biotechnologies 等合成基因公司的负责人。
(来源:公开信)
另据悉,特朗普政府上台之后撤销了拜登时期的一项行政令,那项行政令要求受联邦资助的科学家和公司只能从进行订单筛查的供应商那里购买合成基因。
去年,白宫表示会推出自己的筛查指南,然而至今没有发布替换政策。那些支持立法的人们认为,只有国会通过正式法律,才能让所有在美国运营的合成 DNA 供应商都来遵守统一的筛查标准,不管他们是否收到联邦资金资助。今年早些时候,美国参议院也已经提出一项跨党派法案,不过还没有获得足够的推进动力。
另一方面,反对者也有他们自己的理由,他们认为到底什么样的基因组合算是危险的,这个判断标准本身就是主观的,并认为强制筛查会增加合规成本,还有可能打击初创公司。
不过,参与组织这封信的一位前特朗普 AI 顾问回应称,如果所合成的这个东西能够产生生命和病毒,那么要求你配合检查一下它有没有危险,这个要求并不过分,同时也是社会应该合理坚持的底线。
纵观人类进程,生物武器恐怖袭击在历史上很罕见,然而一旦发生所造成的伤亡、恐慌和经济损失是难以估量的。对于 AI 设计出来的病原体来说,不管是有意的还是无意的,都有可能引发全球大流行,所以这是一个需要被严肃讨论的真实威胁。此次多位 AI 领袖联名上书,也因为他们很清楚如果不设护栏,他们自己亲手创造的工具可能被用来做最坏的事。
参考资料:
公开信 https://prod-i.a.dj.com/public/resources/documents/dnaletter.pdf
https://www.wsj.com/politics/policy/top-ai-ceos-call-for-law-protecting-against-biological-weapons-88f2f99f?utm_source=chatgpt.com
https://www.wired.com/story/openai-anthropic-letter-ai-biological-weapons/
https://www.techechelon.com/post/ai-leaders-urge-congress-to-mandate-bioweapon-screening-for-synthetic-dna-sellers
https://www.mitsloanme.com/article/openai-anthropic-microsoft-ceos-call-for-stricter-laws-against-ai-biothreats/
运营/排版:何晨龙
注:封面/首图由 AI 辅助生成