B2 · Episode 53 · 4:47
Between curing and losing control
This episode explores the dual prospects of Artificial General Intelligence (AGI): its potential to cure diseases, solve climate change, and usher in abundance—and the profound concerns about loss of control, alignment failures, and existential risk if AGI surpasses human understanding and oversight.
Source：Sismique · License：CC BY 3.0
Transcript
Donc Sam Altman ici, et comme la plupart des acteurs, parle des risques.
So Sam Altman is here, and like most industry players, he talks about the risks.
Il ne les nie pas, mais c'est rarement extrêmement explicite et c'est souvent assez
He doesn’t deny them, but he rarely spells them out explicitly—and often dismisses them quickly.
vite balayé. Alors quels sont ces risques?
So what exactly are these risks?
Quel est le revers de la médaille?
What’s the flip side of the coin?
Pour Altman et globalement pour les enthousiastes, oui, il y a des risques,
For Altman—and broadly for AI enthusiasts—yes, risks exist:
par exemple liés au potentiel remplacement de la plupart des emplois,
for example, the potential replacement of most jobs;
des risques liés aux implications,
risks tied to broader implications;
des perturbations de notre rapport à la vérité,
disruptions to our relationship with truth;
et donc des risques quant au
and thus,
fonctionnement de nos démocraties.
risks to how our democracies function.
Mais le risque, surtout pour eux, ce serait de passer à côté de l'opportunité,
Yet the real risk—for them—is missing the opportunity out of fear of progress.
par peur du progrès.
Missing the opportunity due to fear of progress.
Chaque génération a paniqué devant sa technologie l'imprimerie,
Every generation has panicked over its new technology—the printing press, the train, electricity—
le train, l'électricité, et chaque fois on a fini par s'en servir.
and each time, we’ve ended up using them.
c'est pareil ici.
It’s the same here.
Et le vrai risque donc, ce n'est pas de construire ces machines,
So the real risk isn’t building these machines—
le risque, c'est de ne pas les construire.
the risk is *not* building them.
Parce que pendant qu'on hésite,
Because while we hesitate,
des gens meurent de maladies qu'une IA aiderait à guérir.
people are dying from diseases that AI could help cure.
Toutes les maladies humaines appartiendront au passé si cette technologie est créée.
All human diseases will belong to the past—if this technology is realized.
L'énergie sera décarbonée et gratuite,
Energy will be decarbonized and nearly free,
nous permettant de transcender la crise climatique et de commencer à restaurer les
enabling us to transcend the climate crisis and begin restoring,
écosystèmes de notre planète.
the ecosystems of our planet.
Les conflits mondiaux autour des ressources rares se dissiperont,
Global conflicts over scarce resources will fade away,
laissant place à une nouvelle ère de paix et d'abondance.
giving way to a new era of peace and abundance.
Demis Hassabis, PDG de Google DeepMind, en 2025.
Demis Hassabis, CEO of Google DeepMind, in 2025.
Bon dit comme ça on se dit que le jeu en vaut vraiment la chandelle et on veut pas
At first glance, we think it’s truly worth it,
se passer d'un demi- dieu par peur de devoir se former à un nouvel emploi,
and don’t want to miss out on a ‘demigod’ just because we fear having to retrain for a new job.
d'autant plus qu'on aura sûrement tous un revenu universel du fait de l'abondance
Especially since AI-driven abundance will likely mean,
permise par l'IA.
we’ll all have a universal basic income.
théorie sur laquelle on reviendra aussi.
We’ll return to this theory later.
Pourtant, tout le monde n'est pas d'accord avec cette vision,
Yet, not everyone agrees with this view,
y compris chez les spécialistes.
not even among specialists themselves.
Parce que pour certains d'entre eux, pour certains grands experts de l'IA
Because for some AI experts,
qui travaillent dessus de très près,
those who work on it very closely,
les risques liés à ce développement et en particulier à l'émergence du AGI ne
are not of this kind.
sont pas de cet ordre.
are not of this kind.
Pour comprendre, on va écouter toujours le même Sam Altman dans une interview.
To understand better, let’s listen again to Sam Altman in an interview.
Et oui, je sais, je le cite beaucoup,
Yes, I know—I quote him often,
mais c'est un poids lourd de l'industrie et finalement il est assez fascinant dans
but he’s a heavyweight in the industry,
ses discours. Alors c'est une phrase un peu extraite de son contexte,
and ultimately, his speeches are quite fascinating.
mais en gros ce qu'il dit, c'est que l'IA va
This sentence is somewhat taken out of context,
nous emmener vers la fin du monde.
yet essentially, he says AI will lead us to the end of the world.
Donc dans le camp des inquiets, on pose la question un peu comme ça.
So, among those concerned, the question is posed roughly like this:
Certes, l'IA pourrait nous apporter plein de choses sympas.
Certainly, AI could bring us many wonderful things.
Mais qu'est- ce qui se passe le jour où le génie sort de la lampe,
But what happens the day the ‘genie emerges from the lamp’?
le jour de la singularité, le jour où effectivement
The day of the ‘singularity’,
une AGI émerge?
the day when AGI actually emerges?
Est- ce qu'elle nous aiderait comme un partenaire coopératif?
Will it help us as a cooperative partner?
est ce qu'ils nous ignoraient comme nous on ignore les fourmis sur lesquelles on
Will it ignore us, as we ignore ants,
marche sans y faire attention
stepping on them without noticing?
est ce qu'elle nous gouvernerait doucement pour notre bien
Will it gently govern us—for our own good?
est ce qu'elle nous utiliserait comme un simple moyen
Will it use us merely as a means to an end?
ou est ce qu'elle déciderait de nous éliminer façon terminator
Or will it decide to eliminate us, Terminator-style?
alors leur peur n'a pas forcément du rouge
So their fear isn’t necessarily irrational,
mais elle porte un nom presque ennuyeux
yet it bears an almost boring name:
l'alignement. Comment s'assurer qu'une machine très puissante fasse vraiment ce
alignment—how do we ensure a highly powerful machine actually does what we want,
qu'on veut, pas forcément ce qu'on lui a dit, mais ce qu'on voulait dire?
not just what we told it to do, but what we truly meant?
Qu'est- ce qui se passe quand il y a un décalage,
What happens when there's a misalignment?
d'autant qu'on comprend pas entièrement ce qu'on fabrique.
Especially since we don’t fully understand what we’re building.
On cultive, on élève ces modèles, plus qu'on ne les programme,
We nurture and train these models, rather than just programming them;
on l'a dit, et on a mis au monde quelque chose, en partie, très opaque.
as previously stated, we’ve brought into the world something that is, in part, highly opaque.
Et leur scénario noir, celui que des penseurs comme Nick Bostrom ou Eliezer
And their ‘black scenario’—the one long warned of by thinkers like Nick Bostrom or Eliezer
Yudkowsky agitent depuis des années, tient en une phrase.
Yudkowsky—can be summed up in a single sentence:
qu'un système devienne nettement plus intelligent que nous capable de se réécrire
a system becomes vastly smarter than us and capable of rewriting itself;
lui même et un minuscule défaut d'alignement au départ pourrait grossir à chaque
and even a tiny initial misalignment
tour jusqu'à devenir impossible à rattraper.
could balloon with each iteration until it becomes irrecoverable.
Un décollage trop rapide pour qu'on ait le temps de réagir.
A takeoff so rapid that we won’t have time to respond.
Là je voudrais pousser un peu plus loin parce que c'est la pièce qui manque pour
Here, I’d like to go a bit further—because this missing piece is essential to deeply understanding the concern;
comprendre profondément l'inquiétude.
only then can we truly grasp the root of this anxiety.
tant que chaque progrès dans les laboratoires d'IA dépend d'humains qui codent qui
As long as every advance in AI labs
réfléchissent qui essaient qui mettent des garde fous ça avance vite
depends on humans coding, reflecting, experimenting, and implementing safeguards,
mais ça avance au rythme de cerveau humain.
progress may be fast—but it still moves at the pace of the human brain.
Le jour où ce sont les modèles eux- mêmes qui font en grande partie ce travail de
The day those models themselves carry out most of this design work,
conception.
everything will fundamentally change.