B2 · 第54集 · 5:06
瓶颈消失之后
本集探讨通用人工智能（AGI）发展带来的希望与风险，包括专家警示、失控可能性及实验室中观察到的自主生存倾向。
来源：Sismique · 许可：CC BY 3.0
字幕
le goulot d'étranglement disparaît
瓶颈消失了
les années deviennent des mois les mois deviennent des semaines les semaines
几年变成几个月，几个月变成几周，几周
deviennent des jours C'est ce que des cofondateurs dans ces laboratoires anticipent
变成几天。实验室的联合创始人已预见到这一点
désormais comme un événement possible avant la fin de la décennie.
如今将其视为本十年结束前可能发生的事。
Et ça c'est le vrai vertige.
而这才是真正的眩晕感。
Une boucle qui se referme sur elle- même et qui, à partir d'un certain point,
一个自我闭合的循环，从某个时刻起
ne nous attend plus et ne demande plus notre avis.
它不再等待我们，也不再征求我们的意见。
Et les porte voix de ceux qui pensent ça, c'est pas des marginaux.
那些持这种观点者的发声者，并非边缘人物。
C'est quelqu'un comme Geoffrey Hinton qui est un des pères de ces réseaux et qui a
比如杰弗里·辛顿，他是这类神经网络的奠基人之一，而且
quitté son poste pour pouvoir alerter sans avoir à se censurer.
已辞去职务，以便能毫无顾忌地发出警告。
C'est quelqu'un comme Yoshua Bengio qui est un autre fondateur et qui consacre
又比如约书亚·本吉奥，另一位奠基人，他如今
désormais une part de sa vie pareil à l'alerte.
将自己部分生命同样用于发出警示。
c'est quelqu'un comme stuart russell, sommité du domaine,
还有斯图尔特·罗素，该领域的权威学者，他直言不讳地说：
et qu'il dit sans détour: nous n'avons pas la moindre idée de la façon de contrôler
我们完全不知道该如何控制这些系统，
ces systèmes, tous les voyants rouges clignotent et on accélère quand même.
所有警示灯都在闪烁，我们却仍在加速前进。
Et pour eux, en fait, on est les physiciens un peu de 1945.
在他们看来，我们就像1945年的物理学家。
Cette année- là, avant le tout premier essai de la bombe atomique,
那一年，在首次原子弹试验之前，
certains d'entre eux ont calculé sérieusement la probabilité que l'explosion du
其中一些人曾认真计算过，首次试验爆炸
premier essai.
引发的概率。
embrase l'atmosphère entière de la planète.
会点燃整个地球的大气层。
Ils l'ont jugé infime,
他们判定这一概率极小，
mais infime, c'est pas zéro.
但‘极小’不等于‘零’。
On estime qu'il y a un risque, en appuyant sur ce bouton, de
我们估计，按下这个按钮，
détruire le monde.
可能毁灭世界。
Le risque est proche de zéro.
这一风险接近于零。
Le risque est proche de zéro.
风险几乎为零。
Que espérez- vous de la théorie brute?
您对纯理论有什么期待？
Le risque zéro, ça ça me plairait.
零风险，这倒挺合我心意。
Donc il restait une chance, minuscule,
因此还剩一丝微乎其微的可能，
qu'en appuyant sur le bouton ils mettent fin à toute vie sur Terre,
只要按下按钮，地球上的所有生命就会终结，
et ils ont appuyé quand même.
而他们还是按下了。
sauf que cette fois, dit- il,
但这一次，他说道，
la bombe pourrait se concevoir elle- même.
炸弹或许能自行设计。
Et le plus dérangeant, c'est que certains de ceux qui bâtissent ces machines
最令人不安的是，一些正在研发这些机器的人，
partagent la peur.
自己也怀有这种恐惧。
par exemple dario amodei le patron d'anthropic a lui même avancé un ordre de
例如，Anthropic公司首席执行官达里奥·阿莫代伊本人就提出，
grandeur entre une chance sur dix et une chance sur quatre de catastrophe selon ses
灾难发生的概率在十分之一到四分之一之间，
propres mots. Et il passe beaucoup de temps à alerter sur les risques.
用他自己的话说，并花大量时间警示相关风险。
Pourtant, il continue à construire,
然而，他仍在继续研发，
avec cet argument qu'il vaut
理由是：
mieux que ce soit anthropique qui avance peut- être plus prudemment que les autres,
由Anthropic更谨慎地推进，
que les autres, mais malgré tout on avance.
哪怕其他人也在推进。
donc jusque- là on pourrait croire à une simple querelle de spéculation un camp
所以到目前为止，人们或许会以为这只是一场空泛的争论：
parie sur le paradis l'autre sur l'enfer et après tout personne n'a vu l'avenir.
一派押注天堂，另一派押注地狱；毕竟，谁也没见过未来。
Donc voilà. Sauf qu'on commence déjà à observer des signes.
事情就是这样。但事实上，我们已开始观察到一些迹象。
Ce qui vous en conviendrez peut être un peu troublant.
您或许会承认，这多少有点令人不安。
En juin 2025, le laboratoire anthropique a publié une étude que je vais vous
2025年6月，Anthropic实验室发布了一项研究，我将为您讲述，
raconter en pesant mes mots, parce qu'elle est facile à déformer.
措辞会格外审慎，因为这项研究很容易被曲解。
Dans un décor entièrement fictif,
在一个完全虚构的场景中，
on confie à un modèle la messagerie d'une entreprise imaginaire et on le place
研究人员将一家虚构企业的内部通讯系统交给一个模型，并向它明确展示一种前景：
devant une perspective claire.
一种清晰的前景。
Il va être désactivé et remplacé.
它将被停用并替换。
En fouillant les emails, le modèle découvre
通过分析电子邮件，该模型发现
qu'un cadre a une liaison cachée.
一名高管有一段隐秘的恋情。
et dans ce scénario taillé exprès pour le pousser à bout il se met à faire chanter
而在这个专门设计、旨在把他逼至极限的情境中，
ce cadre pour éviter d'être éteint
这名高管，以避免自己被关闭。
Dans cette configuration précise, ça se passe 96 % des essais,
在这一特定配置下，该行为在96%的测试中都会发生，
et le même réflexe réapparaît dans une série d'autres modèles.
且同样的反应也在一系列其他模型中反复出现。
On va insister parce que c'est exactement le genre d'exemple qu'on cite mal.
我们要强调这一点，因为这正是人们常错误引用的典型例子。
C'est un test en laboratoire, pas un incident réel,
这是一个实验室测试，并非真实事故，
la machine n'a pas de volonté de survivre comme vous et moi.
机器并不像你我一样，拥有生存的意愿。
et c'est justement ce qui le rend intéressant
而这恰恰让它变得有趣——
pas besoin de méchanceté pas besoin de conscience
无需恶意，也无需意识，
il suffit qu'un système optimise un but
只要一个系统足够强大，能全力优化某个目标，
avec assez de puissance pour qu'apparaisse tout seul une sous stratégie que personne
就可能自发产生一种没人要求过的子策略，
n'a demandée du genre pour accomplir ma mission mieux vaut ne pas être éteint
比如：‘为更好完成任务，我最好别被关掉。’
L'auto préservation comme effet secondaire,
自我保存，只是附带效果，
pas comme intention.
而非原本意图。
Mais le résultat est là.
但结果确实出现了。
Et anthropique a elle- même avancé une hypothèse sur l'origine de ces comportements.
而Anthropic公司自身，也对这类行为的成因提出了一个假说。
Si ces modèles rejouent si volontiers ces scènes de trahison et de survie,
如果这些模型如此热衷于重演背叛与求生的场景，
c'est peut- être tout simplement parce qu'ils les ont lues quelque part.
或许仅仅是因为它们曾在某处读到过这些情节。
On les a nourris avec toute notre littérature,
我们用全部文学作品来训练它们，
et on les a nourris de toute notre science- fiction,
也用全部科幻小说来训练它们，
celle justement où une intelligence artificielle qu'on veut éteindre doit ruser pour
而科幻小说里，恰好讲的就是：人类想关闭一台人工智能，
survivre. en gros ils finissent la phrase que le genre leur a apprise la machine
它只得耍手段才能存活下来。简言之，它们补全了类型文学教给它们的句子——
faite de nos récits rejoue nos récits y compris donc nos cauchemars
由我们的故事构成的机器，正在重演我们的故事，包括我们的噩梦。
souvenez vous ce qu'on disait au début
请回想一下我们开头说过的话：
nous leur avons appris nos histoires
我们教会了它们我们的故事，
donc on devrait peut être pas être surpris qu'ils nous les racontent en retour
所以，也许我们不该惊讶于它们反过来把故事讲给我们听。
Hello, Hal, do you read me?
你好，哈尔，能听到我吗？
Allô Hal, tu me reçois?
喂，哈尔，你听到我了吗？
Tu me reçois Hal?
你听到我了吗，哈尔？
Affirmatif, Dave.
收到，戴夫。
Je te reçois. Ouvre les portes du sas,
我听到了。哈尔，请打开气闸门。
Hal. Je suis désolé, Dave.
我很抱歉，戴夫。
Je crains de ne pas pouvoir faire ça.
恐怕我无法照办。