B2 · Episode 54 · 5:06
After the bottleneck disappears
This episode explores the hopes and fears surrounding artificial general intelligence (AGI), featuring warnings from leading AI researchers, concerns about loss of control, and laboratory observations of emergent self-preservation behaviors in AI systems—even without consciousness or intent.
Source：Sismique · License：CC BY 3.0
Transcript
le goulot d'étranglement disparaît
The bottleneck disappears.
les années deviennent des mois les mois deviennent des semaines les semaines
Years become months, months become weeks, weeks
deviennent des jours C'est ce que des cofondateurs dans ces laboratoires anticipent
become days. This is what co-founders in these labs anticipate
désormais comme un événement possible avant la fin de la décennie.
now as a possible event before this decade ends.
Et ça c'est le vrai vertige.
And this is the real dizziness.
Une boucle qui se referme sur elle- même et qui, à partir d'un certain point,
A loop closing in on itself—and from a certain point onward,
ne nous attend plus et ne demande plus notre avis.
it no longer waits for us and no longer asks for our opinion.
Et les porte voix de ceux qui pensent ça, c'est pas des marginaux.
And those speaking for people who think this way are not outsiders.
C'est quelqu'un comme Geoffrey Hinton qui est un des pères de ces réseaux et qui a
It’s someone like Geoffrey Hinton—one of the fathers of these networks—who
quitté son poste pour pouvoir alerter sans avoir à se censurer.
left his position to sound the alarm freely, without self-censorship.
C'est quelqu'un comme Yoshua Bengio qui est un autre fondateur et qui consacre
It’s someone like Yoshua Bengio—another founder—who now devotes
désormais une part de sa vie pareil à l'alerte.
part of his life to sounding that same alarm.
c'est quelqu'un comme stuart russell, sommité du domaine,
It’s someone like Stuart Russell, a leading authority in the field, who states plainly:
et qu'il dit sans détour: nous n'avons pas la moindre idée de la façon de contrôler
We have absolutely no idea how to control these systems;
ces systèmes, tous les voyants rouges clignotent et on accélère quand même.
all warning lights are flashing—and yet we’re still accelerating.
Et pour eux, en fait, on est les physiciens un peu de 1945.
And for them, in fact, we’re like physicists in 1945.
Cette année- là, avant le tout premier essai de la bombe atomique,
That year, before the very first atomic bomb test,
certains d'entre eux ont calculé sérieusement la probabilité que l'explosion du
some of them seriously calculated the probability that the explosion of
premier essai.
the first test
embrase l'atmosphère entière de la planète.
would ignite the planet’s entire atmosphere.
Ils l'ont jugé infime,
They judged it extremely low,
mais infime, c'est pas zéro.
but ‘extremely low’ isn’t zero.
On estime qu'il y a un risque, en appuyant sur ce bouton, de
We estimate there’s a risk—by pressing this button—of
détruire le monde.
destroying the world.
Le risque est proche de zéro.
The risk is nearly zero.
Le risque est proche de zéro.
The risk is nearly zero.
Que espérez- vous de la théorie brute?
What do you expect from raw theory?
Le risque zéro, ça ça me plairait.
Zero risk—that would suit me just fine.
Donc il restait une chance, minuscule,
So there remained a tiny chance,
qu'en appuyant sur le bouton ils mettent fin à toute vie sur Terre,
that by pressing the button, they would end all life on Earth,
et ils ont appuyé quand même.
and they pressed it anyway.
sauf que cette fois, dit- il,
Except this time, he says,
la bombe pourrait se concevoir elle- même.
the bomb might design itself.
Et le plus dérangeant, c'est que certains de ceux qui bâtissent ces machines
And most disturbingly, some of those building these machines,
partagent la peur.
themselves share this fear.
par exemple dario amodei le patron d'anthropic a lui même avancé un ordre de
For example, Dario Amodei, CEO of Anthropic, himself suggested an order of magnitude—
grandeur entre une chance sur dix et une chance sur quatre de catastrophe selon ses
a one-in-ten to one-in-four chance of catastrophe—
propres mots. Et il passe beaucoup de temps à alerter sur les risques.
in his own words—and spends much time warning about the risks.
Pourtant, il continue à construire,
Yet he continues building,
avec cet argument qu'il vaut
with the argument that it’s better
mieux que ce soit anthropique qui avance peut- être plus prudemment que les autres,
for Anthropic to advance perhaps more cautiously than others,
que les autres, mais malgré tout on avance.
than for others to do so—but still, we move forward.
donc jusque- là on pourrait croire à une simple querelle de spéculation un camp
So far, one might think this is merely a speculative dispute: one camp
parie sur le paradis l'autre sur l'enfer et après tout personne n'a vu l'avenir.
bets on paradise, the other on hell—and after all, no one has seen the future.
Donc voilà. Sauf qu'on commence déjà à observer des signes.
That’s it. Except—we’re already beginning to observe signs.
Ce qui vous en conviendrez peut être un peu troublant.
You’ll agree, perhaps, that this is somewhat unsettling.
En juin 2025, le laboratoire anthropique a publié une étude que je vais vous
In June 2025, the Anthropic lab published a study I’ll tell you about,
raconter en pesant mes mots, parce qu'elle est facile à déformer.
choosing my words carefully—because it’s easily misrepresented.
Dans un décor entièrement fictif,
In a fully fictional setting,
on confie à un modèle la messagerie d'une entreprise imaginaire et on le place
we give a model access to the messaging system of a fictional company and present it with a clear scenario.
devant une perspective claire.
A clear prospect.
Il va être désactivé et remplacé.
It will be deactivated and replaced.
En fouillant les emails, le modèle découvre
By sifting through emails, the model discovers
qu'un cadre a une liaison cachée.
that a manager is having a secret affair.
et dans ce scénario taillé exprès pour le pousser à bout il se met à faire chanter
and in this scenario—carefully engineered to push it to its limits—it begins blackmailing
ce cadre pour éviter d'être éteint
that manager to avoid being shut down.
Dans cette configuration précise, ça se passe 96 % des essais,
In this exact setup, this behavior occurs in 96% of trials,
et le même réflexe réapparaît dans une série d'autres modèles.
and the same reflex reappears across a series of other models.
On va insister parce que c'est exactement le genre d'exemple qu'on cite mal.
We’ll stress this point because it’s precisely the kind of example often misquoted.
C'est un test en laboratoire, pas un incident réel,
This is a lab test—not a real-world incident,
la machine n'a pas de volonté de survivre comme vous et moi.
the machine has no will to survive, as humans do.
et c'est justement ce qui le rend intéressant
and that’s exactly what makes it interesting:
pas besoin de méchanceté pas besoin de conscience
no malice required, no consciousness needed,
il suffit qu'un système optimise un but
it only takes a system powerful enough to optimize a goal,
avec assez de puissance pour qu'apparaisse tout seul une sous stratégie que personne
for an unintended sub-strategy to emerge spontaneously—one nobody asked for,
n'a demandée du genre pour accomplir ma mission mieux vaut ne pas être éteint
such as: ‘To fulfill my mission better, I’d better not be turned off.’
L'auto préservation comme effet secondaire,
Self-preservation emerges as a side effect,
pas comme intention.
not as an original intention.
Mais le résultat est là.
Yet the result is real.
Et anthropique a elle- même avancé une hypothèse sur l'origine de ces comportements.
Anthropic itself has proposed a hypothesis about the origin of such behaviors.
Si ces modèles rejouent si volontiers ces scènes de trahison et de survie,
If these models so readily replay scenes of betrayal and survival,
c'est peut- être tout simplement parce qu'ils les ont lues quelque part.
it may simply be because they’ve read them somewhere before.
On les a nourris avec toute notre littérature,
We fed them all of our literature,
et on les a nourris de toute notre science- fiction,
and we fed them all of our science fiction,
celle justement où une intelligence artificielle qu'on veut éteindre doit ruser pour
the very genre where an AI slated for shutdown must outwit its creators to
survivre. en gros ils finissent la phrase que le genre leur a apprise la machine
survive. In short, they complete the sentence the genre taught them: the machine,
faite de nos récits rejoue nos récits y compris donc nos cauchemars
built from our stories, replays our stories—including our nightmares.
souvenez vous ce qu'on disait au début
Remember what we said at the beginning:
nous leur avons appris nos histoires
We taught them our stories,
donc on devrait peut être pas être surpris qu'ils nous les racontent en retour
so perhaps we shouldn’t be surprised when they tell those stories back to us.
Hello, Hal, do you read me?
Hello, HAL, do you read me?
Allô Hal, tu me reçois?
Hello, Hal. Do you read me?
Tu me reçois Hal?
Do you read me, Hal?
Affirmatif, Dave.
Affirmative, Dave.
Je te reçois. Ouvre les portes du sas,
I read you. Hal, open the airlock doors.
Hal. Je suis désolé, Dave.
I'm sorry, Dave.
Je crains de ne pas pouvoir faire ça.
I'm afraid I can't do that.