B2 · 第53集 · 4:47
治病和失控之间
本集探讨通用人工智能（AGI）带来的双重前景：既可能解决疾病、气候危机等重大挑战，也引发关于失控、对齐失败和人类存续的深层忧虑。
来源：Sismique · 许可：CC BY 3.0
字幕
Donc Sam Altman ici, et comme la plupart des acteurs, parle des risques.
因此，萨姆·阿尔特曼在此，和大多数业内人士一样，谈到了相关风险。
Il ne les nie pas, mais c'est rarement extrêmement explicite et c'est souvent assez
他并不否认这些风险，但极少明确详述，往往一带而过。
vite balayé. Alors quels sont ces risques?
那么，这些风险究竟是什么？
Quel est le revers de la médaille?
硬币的另一面又是什么？
Pour Altman et globalement pour les enthousiastes, oui, il y a des risques,
对阿尔特曼及总体上的技术乐观派而言，风险确实存在，
par exemple liés au potentiel remplacement de la plupart des emplois,
例如，多数工作岗位可能被取代；
des risques liés aux implications,
还有与之相关的各种影响；
des perturbations de notre rapport à la vérité,
我们的真相认知方式可能遭到扰乱；
et donc des risques quant au
因此，
fonctionnement de nos démocraties.
我们的民主制度运行也可能面临风险。
Mais le risque, surtout pour eux, ce serait de passer à côté de l'opportunité,
但对他们而言，真正的风险反而是因惧怕进步而错失良机，
par peur du progrès.
因惧怕进步而错失良机。
Chaque génération a paniqué devant sa technologie l'imprimerie,
每一代人都曾为自己的新技术而恐慌：印刷术、火车、电力；
le train, l'électricité, et chaque fois on a fini par s'en servir.
但最终，我们都学会了使用它们。
c'est pareil ici.
这次也一样。
Et le vrai risque donc, ce n'est pas de construire ces machines,
因此，真正的风险并非制造这些机器，
le risque, c'est de ne pas les construire.
而是不去制造它们。
Parce que pendant qu'on hésite,
因为当我们犹豫不决时，
des gens meurent de maladies qu'une IA aiderait à guérir.
正有人死于人工智能本可助其治愈的疾病。
Toutes les maladies humaines appartiendront au passé si cette technologie est créée.
只要这项技术得以实现，所有人类疾病都将成为历史。
L'énergie sera décarbonée et gratuite,
能源将实现去碳化且近乎免费，
nous permettant de transcender la crise climatique et de commencer à restaurer les
使我们得以超越气候危机，并开始修复，
écosystèmes de notre planète.
地球的生态系统。
Les conflits mondiaux autour des ressources rares se dissiperont,
围绕稀缺资源的全球冲突将消散，
laissant place à une nouvelle ère de paix et d'abondance.
让位于一个和平与富足的新时代。
Demis Hassabis, PDG de Google DeepMind, en 2025.
谷歌DeepMind首席执行官德米斯·哈萨比斯，2025年。
Bon dit comme ça on se dit que le jeu en vaut vraiment la chandelle et on veut pas
乍一听，我们觉得这确实值得投入，
se passer d'un demi- dieu par peur de devoir se former à un nouvel emploi,
不愿因害怕要学习新工作，就放弃一位‘半神’。
d'autant plus qu'on aura sûrement tous un revenu universel du fait de l'abondance
更何况，人工智能带来的丰裕，
permise par l'IA.
很可能让我们人人享有基本收入。
théorie sur laquelle on reviendra aussi.
关于这一理论，我们之后还会再谈。
Pourtant, tout le monde n'est pas d'accord avec cette vision,
然而，并非所有人都认同这种观点，
y compris chez les spécialistes.
就连专家内部也存在分歧。
Parce que pour certains d'entre eux, pour certains grands experts de l'IA
因为对某些人工智能专家而言，
qui travaillent dessus de très près,
那些长期深度参与研发的人，
les risques liés à ce développement et en particulier à l'émergence du AGI ne
相关发展——尤其是通用人工智能（AGI）的出现——所伴随的风险，
sont pas de cet ordre.
并非属于这类风险。
Pour comprendre, on va écouter toujours le même Sam Altman dans une interview.
为帮助理解，我们再来听听同一位山姆·阿尔特曼的采访。
Et oui, je sais, je le cite beaucoup,
是的，我知道，我引用他很多次了，
mais c'est un poids lourd de l'industrie et finalement il est assez fascinant dans
但他确实是行业重量级人物，
ses discours. Alors c'est une phrase un peu extraite de son contexte,
而且他的发言终究十分引人入胜。
mais en gros ce qu'il dit, c'est que l'IA va
这句话虽略脱离原语境，
nous emmener vers la fin du monde.
但大意是：人工智能将把我们带向世界末日。
Donc dans le camp des inquiets, on pose la question un peu comme ça.
因此，在担忧派看来，问题大致如此提出：
Certes, l'IA pourrait nous apporter plein de choses sympas.
诚然，人工智能可能为我们带来许多美好事物。
Mais qu'est- ce qui se passe le jour où le génie sort de la lampe,
但当‘神灯精灵’真正现身那天呢？
le jour de la singularité, le jour où effectivement
也就是‘技术奇点’之日，
une AGI émerge?
即通用人工智能（AGI）真正诞生之时？
Est- ce qu'elle nous aiderait comme un partenaire coopératif?
它会像合作伙伴一样帮助我们吗？
est ce qu'ils nous ignoraient comme nous on ignore les fourmis sur lesquelles on
还是会像我们踩死蚂蚁却不加留意那样，
marche sans y faire attention
完全无视我们的存在？
est ce qu'elle nous gouvernerait doucement pour notre bien
还是会为了我们的福祉，悄然接管治理？
est ce qu'elle nous utiliserait comme un simple moyen
还是会仅仅把我们当作实现目标的工具？
ou est ce qu'elle déciderait de nous éliminer façon terminator
抑或会像《终结者》那样，决定彻底消灭我们？
alors leur peur n'a pas forcément du rouge
因此，他们的担忧未必显得荒谬，
mais elle porte un nom presque ennuyeux
但其名称却近乎枯燥乏味：
l'alignement. Comment s'assurer qu'une machine très puissante fasse vraiment ce
对齐问题——如何确保一台极其强大的机器，
qu'on veut, pas forcément ce qu'on lui a dit, mais ce qu'on voulait dire?
真正执行我们的本意，而非仅按字面指令行事？
Qu'est- ce qui se passe quand il y a un décalage,
当出现偏差时，会发生什么？
d'autant qu'on comprend pas entièrement ce qu'on fabrique.
更何况，我们并未完全理解自己正在创造的东西。
On cultive, on élève ces modèles, plus qu'on ne les programme,
我们培育、训练这些模型，而非单纯编程；
on l'a dit, et on a mis au monde quelque chose, en partie, très opaque.
正如之前所说，我们已创造出某种在很大程度上不透明的事物。
Et leur scénario noir, celui que des penseurs comme Nick Bostrom ou Eliezer
而像尼克·博斯特罗姆或埃利泽·尤德科斯基这样的思想家，
Yudkowsky agitent depuis des années, tient en une phrase.
多年来反复警示的‘黑暗情景’，只需一句话就能概括：
qu'un système devienne nettement plus intelligent que nous capable de se réécrire
一个系统变得远比人类更聪明，能自主重写自身代码；
lui même et un minuscule défaut d'alignement au départ pourrait grossir à chaque
而最初哪怕只有一丁点目标对齐上的缺陷，
tour jusqu'à devenir impossible à rattraper.
都可能在每一次迭代中不断放大，最终变得无法挽回。
Un décollage trop rapide pour qu'on ait le temps de réagir.
这种爆发式发展太快，人类根本来不及反应。
Là je voudrais pousser un peu plus loin parce que c'est la pièce qui manque pour
接下来我想再深入一步，因为这正是理解深层忧虑所缺失的关键一环；
comprendre profondément l'inquiétude.
唯有如此，才能真正把握人们焦虑的根源。
tant que chaque progrès dans les laboratoires d'IA dépend d'humains qui codent qui
只要人工智能实验室中的每一步进展，
réfléchissent qui essaient qui mettent des garde fous ça avance vite
仍依赖人类编写代码、思考、尝试并设置安全防护，
mais ça avance au rythme de cerveau humain.
进展虽快，却仍受限于人脑的节奏。
Le jour où ce sont les modèles eux- mêmes qui font en grande partie ce travail de
而一旦设计工作主要由模型自身来完成，
conception.
局面就将彻底改变。