B2 · Episode 52 · 5:09
Two sides of the same coin
This episode explores the dual nature of Artificial General Intelligence (AGI): its optimistic promise—universal education, healthcare, scientific breakthroughs, and abundance—and its underlying concerns about unprecedented control, exponential risk, and societal disruption.
Source：Sismique · License：CC BY 3.0
Transcript
Et je vous propose de regarder un peu plus en détail les deux faces de cette pièce
Next, I suggest we take a closer look at the two sides of this coin.
qui de fait a déjà été un peu jetée en l'air.
In fact, it’s already been tossed up in the air.
Concentrons- nous d'abord sur l'aspect sympa de la promesse,
Let’s first focus on the appealing side of this promise,
parce que c'est pour elle qu'on investit autant de moyens.
since that’s precisely why so many resources are being invested.
On écoute Elon Musk en parler.
We listen to Elon Musk talk about it.
Quand on pense à l'IA, on parle parfois de revenu universel.
When we think of AI, people sometimes mention universal basic income.
Je pense plutôt à la richesse pour tous.
I, however, think more of prosperity for everyone.
Avoir un futur à la Star Trek, ce serait génial.
Having a future like Star Trek would be amazing.
Explorer les étoiles, découvrir les secrets de l'univers,
Exploring the stars, uncovering the universe’s secrets,
et avoir un niveau de prospérité et, on l'espère,
and achieving a level of prosperity—and hopefully,
du bonheur qu'on a encore du mal à imaginer.
a degree of happiness we still struggle to imagine.
Donc je suis très enthousiaste concernant le futur.
So, I’m genuinely enthusiastic about the future.
Pour le coup, c'est quand même assez vendeur.
Honestly, it’s quite compelling.
Essayez d'imaginer ce que ça voudrait dire concrètement.
Try imagining concretely what this would actually mean.
Une intelligence disponible partout, tout le temps, pour tout le monde.
Intelligence available everywhere, all the time, for everyone.
un précepteur particulier pour chaque enfant un médecin de premier recours pour
A personal tutor for every child,
chaque village qui n'en a pas un robot mineur pour aller chercher le cobalt à la
a first-contact doctor for every village lacking one,
place des enfants congolais un robot cuisinier dans chaque foyer un conseiller un
robot miners replacing Congolese children to extract cobalt,
copilote stratégique dans la poche de chacun
a cooking robot in every home,
chacun son petit psychiatre pour résoudre ses petits problèmes du quotidien et à
a strategic advisor and co-pilot in everyone’s pocket,
l'autre bout de l'échelle des laboratoires où la recherche irait dix fois plus vite
and each person their own little psychiatrist to resolve everyday concerns;
où des problèmes restés bloqués pendant des décennies tomberaient en quelques mois
and, at the other end of the spectrum, laboratories where research moves ten times faster,
Les plus enthousiastes parlent carrément d'une ère d'abondance,
where problems stuck for decades would fall within months.
où on aurait enfin les moyens de soigner, d'éduquer,
The most enthusiastic even speak of an ‘Age of Abundance’,
de produire sans les limites qu'on connaît aujourd'hui.
an era when we’ll finally have the means to heal, educate, and produce—without today’s constraints.
Sam Altman a d'ailleurs intitulé l'un de ses textes mot pour mot
Sam Altman has even titled one of his articles verbatim
Abundant Intelligence, de l'intelligence en abondance.
‘Abundant Intelligence’—intelligence in abundance.
et c'est au fond l'oracle de Delphes
And at its core, this is the Oracle of Delphi,
plus la puissance d'agir
plus the power to act,
donc forcément on comprend que ça fasse rêver
so we naturally understand why it inspires dreams;
on comprend aussi que ça attire des fortunes parce qu'en creux elle promet autre
we also understand why it attracts vast fortunes—because, implicitly, it promises something else,
chose de plus discret de plus séduisant encore que la promesse de guérir le cancer
something more discreet, more seductive still than the promise of curing cancer;
une capacité de contrôle immense comprendre prévoir optimiser orienter.
a tremendous capacity for control: to understand, predict, optimize, and steer.
contrôler donc.
In short: control.
Et sur ce versant- là, on reviendra au prochain épisode parce que c'est là que le
On this front, we’ll return in the next episode, because
rêve devient une affaire d'argent et de pouvoir.
this is where the dream turns into a matter of money and power.
Mais bon, AGI ou non, super intelligent ou non, conscient ou non,
But then again, whether or not AGI arrives,
finalement aussi ce qu'il faut garder en tête là- dessus,
whether it’s super-intelligent or conscious,
c'est que ce sur quoi tout le monde parie dans cette industrie,
what we must ultimately keep in mind is that
C'est de plus en plus de puissance et de performance pour nous aider donc à trouver
the entire industry is betting on one thing consistently:
des réponses et faire bien mieux que la plupart des humains.
ever-greater computing power and performance—to help us find answers and outperform most humans.
Et on y met les moyens.
And we’re investing heavily in it.
Nous faisons en l'instant l'hypothèse des optimistes,
Right now, we’re adopting the optimists’ hypothesis:
que ce sera globalement bon pour la société et l'humanité dans son ensemble,
that AI will, on balance, benefit society and humanity as a whole;
et qu'il s'agit donc simplement de piloter les quelques risques qui vont avec et les
and thus, we simply need to manage the associated risks,
quelques disruptions qui sont liées à cette trajectoire.
and the disruptions inevitably tied to this trajectory.
Et c'est ce qu'explique bien Sam Altman dans cette interview.
Sam Altman explains this clearly in this interview.
Limiter le risque lié à l'IA devrait
Mitigating AI-related risks should
être une priorité pour le monde,
be a global priority,
de même que ça l'est quand on parle de nucléaire ou de pandémie.
just as it is for nuclear safety or pandemic preparedness.
Aidez- nous à faire le lien entre tout ça.
Help us connect all of this.
Comment est- ce qu'on passe d'un chatbot sympa à la fin de l'humanité?
How do we go from a friendly chatbot to the end of humanity?
Oui, on travaille là- dessus aussi.
Yes, we’re working on that too.
Oui, c'est ce qu'on espère, mais il y a aussi la peur.
Yes, that’s what we hope—but fear also exists.
Je pense que ça pourrait mal se passer de plein de
I think things could go badly in many ways,
manières, mais on travaille régulièrement avec
yet we regularly work with
des technologies qui présentent.
technologies that carry such risks.
Elles aussi des risques de ce type.
They themselves pose this kind of risk.
Ensuite je coupe, il y a un passage où il explique le fait que ce sont des
Next I’ll skip a section where he explains that
technologies exponentielles et que les humains ont du mal à réfléchir sur des
these are exponential technologies,
exponentielles puisqu'on a une pensée linéaire.
and humans struggle to reason about exponentials because our thinking is linear.
Et puisque on a cette faiblesse,
And since we have this weakness,
je pense qu'il faut vraiment qu'on s'efforce de penser en se disant.
I believe we truly need to make a conscious effort to think by telling ourselves:
GPT quatre, ok, pas ce type de risque.
GPT-4? Okay—no such risk here.
Et comment est- ce qu'on peut être sûr que GPT neuf ne présentera pas ce type de
So how can we be sure GPT-9 won’t pose this kind of risk?
risque? Et si on pense qu'il y a une toute petite chance que ce soit dangereux,
And if we think there’s even a tiny chance it could be dangerous,
alors il faut qu'on y fasse attention.
then we must pay close attention.
Mais s'il y a même un petit pourcentage d'un risque qui est de cette nature,
But if there’s even a small percentage chance of this kind of risk,
pourquoi est- ce qu'on continue?
why do we keep going?
Pourquoi est- ce qu'on prend ce risque?
Why take this risk?
Je pense pour un paquet de raisons.
I think there are many reasons.
D'abord, je pense qu'il y a des gains qui sont incroyables.
First, I believe the potential gains are extraordinary.
Par exemple, le fait qu'on pourrait avoir
For example, tomorrow we might provide everyone on Earth
demain une qualité d'éducation qui est pour tout le monde sur Terre et qui est
with education quality far surpassing what we have today,
incomparable à celle qu'on a aujourd'hui.
and this education would be universally accessible.
Je pense que ça serait très important et ce serait vraiment mal de ne pas saisir
I think this would be very important,
cette opportunité.
and it would truly be wrong not to seize this opportunity.
Il y a aussi les soins, le Medicare,
There’s also healthcare, Medicare,
et permettre à chacun sur Terre d'avoir accès à de meilleurs soins.
and enabling everyone on Earth to access better care.
C'est quelque chose qui va vraiment changer le monde.
This is something that will truly change the world.