B1 · Episode 12 · 5:37
Why Experts Are Often Terrible at Predicting the Future
This episode examines the surprising unreliability of expert predictions—showing they often perform no better than laypeople, basic algorithms, or even chance—and explores cognitive biases like 'self-bullshitting' that lead to systemic forecasting failures in intelligence and policy.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
Tetlock a donc consacré le reste de sa vie à essayer de mesurer la fiabilité des
So Tetlock devoted the rest of his life to measuring experts’ reliability.
experts. Il a organisé de nombreux tournois en faisant s'affronter des centaines de
He organized numerous tournaments pitting hundreds of specialists from various fields against each other,
spécialistes de différents domaines, des politiciens, des hauts fonctionnaires,
including politicians, senior civil servants, scholars, journalists, and know-it-alls of all stripes.
des savants, des journalistes, des monsieur- je- sais- tout de tout bord.
——
Il leur demandait des prévisions sur l'issue des guerres, les élections,
He asked them to forecast outcomes of wars, elections,
l'évolution des marchés, les chances de krachs boursiers, des trucs comme ça.
market trends, chances of stock market crashes—things like that.
Et quelques années plus tard, parfois très longtemps plus tard,
And a few years later—sometimes much longer—
quand on a la réponse, il calculait les notes à base de score de brilleur.
when answers became known, he calculated scores using the Brier score.
Vingt ans plus tard, il avait un corpus de dizaines de milliers de prévisions,
Twenty years later, he had amassed a corpus of tens of thousands of forecasts,
et leur résultat, si c'était arrivé ou pas.
along with whether each prediction actually came true.
Conclusion: les célèbres experts n'étaient pas meilleurs que certains profils issus
Conclusion: famous experts were no better than certain members of the general public,
du grand public, et souvent pires que de simples algorithmes basiques
and often worse than simple extrapolation algorithms,
d'extrapolation, et parfois même carrément pires que le hasard.
sometimes even worse than pure chance.
Lorsque la question tombe pile exactement sur leur domaine d'expertise,
When questions fall exactly within their area of expertise,
ces experts font des scores pas trop mal, et encore pas ouf.
these experts perform moderately well—but still not impressively.
Mais dès que la question parle d'un sujet un peu différent,
But as soon as the question touches on a slightly different topic,
ils sont plus nuls que les inconnus non experts.
they perform worse than complete strangers with no expertise.
Et accrochez- vous, plus les experts sont connus, médiatiques,
And brace yourself: the more famous and media-savvy the experts are,
moins ils sont performants à prévoir le futur.
the less accurate they are at predicting the future.
Ça fait réfléchir.
That makes you think.
Mais son histoire ne s'arrête pas là.
Yet his story doesn’t end there.
La carrière de Philippe Tetlock a pris un envol inattendu en 2010,
Philip Tetlock’s career took an unexpected leap in 2010,
quand le gouvernement américain en cravate lui a fait une proposition.
when the U.S. government—dressed in ties—made him an offer.
Je connais pas exactement les détails de la proposition,
I don’t know the exact details of that offer,
mais j'aime à imaginer que ça a dû se passer un peu comme ça.
but I like to imagine it went something like this.
Je m'appelle Z.
My name is Z.
Vous êtes ici, monsieur Tetlock, car votre spécialité,
You’re here today, Mr. Tetlock, because your specialty is—
c'est de mesurer la capacité de prévision et de clairvoyance des experts.
measuring experts’ forecasting and foresight abilities.
On aimerait que vous testiez tout le monde chez nous,
We’d like you to test everyone in our organization,
toutes les huiles des services de renseignement,
all the senior analysts across our intelligence services,
pour savoir s'ils méritent leur paye.
to see whether they truly earn their pay.
Ah bah, a- t- il probablement répondu,
Ah, he probably replied:
on pourrait organiser un tournoi de prévision géopolitique sur les quatre prochaines
We could run a geopolitical forecasting tournament over the next four years,
années, environ cinq cents questions de sécurité nationale des États- Unis au sens
featuring roughly five hundred questions on U.S. national security, broadly defined.
large. Dans quatre ans, on notera tout le monde.
Then, after four years, we’ll score everyone.
Mais je préfère vous prévenir tout de suite, ça va pas vous plaire.
But let me warn you right away: the results won’t please you.
Parce que ce que montrent mes recherches, c'est que les
Because my research shows that
experts sont pas toujours les meilleurs.
experts aren’t always the best forecasters.
Parfois même, ils sont...
Sometimes, they’re even…
Monsieur Tetlock, ne faites pas un, mais plein de tournois, avec nos experts,
Mr. Tetlock, don’t hold just one tournament—
les experts des autres, à l'échelle mondiale,
hold many, with our experts, experts from other countries,
la société civile et toute la population.
civil society worldwide, and the general public.
Il nous faut les meilleurs des
We need the very best of the best.
meilleurs. Vous avez carte blanche.
You have full authority.
Ben c'est que déjà pour tester les cent étudiants en première année de psycho,
Well, just testing one hundred first-year psychology students
le budget est pas toujours...
already stretches the budget…
Monsieur Tetlock, vous avez un budget illimité.
Mr. Tetlock, your budget is unlimited.
Quel chercheur n'a pas rêvé d'entendre cette phrase de son administration?
Which researcher hasn’t dreamed of hearing this phrase from their administration?
2010, souvenez- vous, le gouvernement américain est en crise de conscience.
In 2010—remember?—the U.S. government was having a crisis of conscience.
Ils étaient partis en guerre au Moyen- Orient, seuls, sous prétexte que,
They had gone to war in the Middle East alone, claiming that—
selon leurs services de renseignement,
according to their intelligence agencies,
l'Irak avait des armes de destruction massive.
Iraq possessed weapons of mass destruction.
Avec le recul, ils doivent faire face à la réalité: ils s'étaient trompés.
In hindsight, they must face reality: they were wrong.
Oh, ce serait plus facile pour moi de croire qu'ils savaient que c'était pas vrai,
Oh, I’d rather believe they knew it wasn’t true,
qu'ils avaient menti pour avoir un prétexte pour déclencher leur guerre,
that they lied deliberately to get a pretext for launching their war,
mais en fait apparemment, je pense qu'on en a les preuves,
but in fact, apparently we now have solid evidence showing that,
leurs services de renseignement ont réellement déclaré à l'exécutif qu'ils avaient
their intelligence agencies actually told the executive branch that they had,
des preuves irréfutables que ces armes existaient.
irrefutable evidence these weapons existed.
En vrai, les États- Unis ont réussi à s'auto- bullshiter.
In reality, the U.S. successfully bullshitted itself.
Je pense que le mécanisme, c'est quelque chose comme ça.
I think the mechanism works something like this.
Les différentes institutions de renseignement, NSA, CIA, NASA,
Various intelligence agencies—the NSA, CIA, NASA,
FBI, les militaires, les espions, les analystes, tout ça, savent
FBI, the military, spies, analysts—all of them know one thing:
que pour avoir du budget l'année suivante,
to secure next year’s budget,
il faut donner à l'exécutif ce qu'il attend de vous.
they must deliver what the executive branch expects from them.
Et de toute façon, même en prenant l'hypothèse que tous ces gens- là sont sincères,
And anyway, even if we assume all these people are sincere,
pas forcément d'accord entre eux,
not necessarily agreeing with each other,
mais ils croient réellement aux conclusions de leur rapport.
they genuinely believe the conclusions in their reports.
Si on ne finance que ceux qui nous disent ce qu'on veut entendre,
If we only fund those who tell us what we want to hear,
au bout d'un moment, ceux qui auraient dit le contraire ne sont plus là.
eventually, those who would’ve said the opposite simply disappear.
et on n'est plus entouré que de gens qui nous disent ce qu'on veut entendre.
And we’re left surrounded only by people telling us what we want to hear.
Autobullshitage.
Self-bullshitting.
Du coup, 2010, grosse remise en question sur les capacités de clairvoyance des
So in 2010, there was major soul-searching about intelligence experts’ foresight,
experts des services de renseignement.
that is, their ability to anticipate developments.
Et une sincère envie de tester la fiabilité du système.
And a genuine desire to test the system’s reliability.
Quitte à devoir affronter la dure réalité de son incompétence.
Even if it means confronting the harsh reality of our own incompetence.
Pour une fois, ça, c'est typiquement un état d'esprit d'éclaireur,
This time, that mindset is truly typical of an ‘explorer’—
c'est- à- dire cette envie prioritaire de vérifier ses propres croyances et
that is, prioritizing checking one’s own beliefs,
d'accepter de peut- être devoir changer d'avis face aux faits.
and being open to changing one’s mind in light of the facts.
Julia Galef, dans The Scout Mindset,
Julia Galef, in her book *The Scout Mindset*,
distinguait ça de l'état d'esprit du guerrier,
distinguishes this mindset from the ‘warrior mindset’,
c'est- à- dire l'envie prioritaire de défendre ses croyances,
that is, the primary desire to defend one’s beliefs,
pour les protéger des arguments contraires ou de ceux qui veulent nous faire changer
to shield them from opposing arguments or from people trying to change our minds.
d'avis. Les croyances, ce sont des hypothèses à tester,
Beliefs are hypotheses to be tested,
pas des trésors à protéger.
not treasures to be protected.
Les questions c'était par exemple quelle est la chance selon vous entre 0 % et 100 %
Sample questions included: ‘What’s your probability estimate—between 0% and 100%—that a given country will leave the European Union by a certain date?’
qu'un membre se retire de l'Union européenne d'ici telle date?
on a scale from 0% to 100%.
Quelle est la probabilité d'affrontements navals faisant plus de dix morts dans la
What’s the probability of naval clashes causing more than ten deaths in the East China Sea?
mer de Chine orientale?
That’s it.
Ou encore, quelle est la probabilité que le chef d'État du Venezuela démissionne
Or: What’s the probability that Venezuela’s head of state will resign by a certain date?
d'ici telle date?
Likewise.
Il a récolté des millions de prévisions,
He gathered millions of forecasts,
des dizaines de milliers de participants de tous horizons,
from tens of thousands of participants across all walks of life,
de tout corps de métier, en croisant ça avec leur origine, leur âge,
spanning diverse backgrounds, ages, and education levels,
leur niveau d'études, les revenus des parents et tout ce qu'il est légal de
as well as their parents’ income and other legally permissible demographic details.
demander. Et c'est pas tout, il a aussi vérifié s'il trouvait des corrélations avec
Moreover, he also checked for correlations with a wide range of psychological assessments,
toute une palette de tests psychologiques, des tests de personnalité et tout ça.
such as personality tests and similar measures.
Ça a donné lieu à beaucoup de publications scientifiques qu'il a compilées dans
This work led to numerous scientific publications, which he compiled into several books,
plusieurs livres écrits dans un langage clair à destination du grand public.
written in clear, accessible language for general readers.
Cette vidéo est principalement adaptée de ces ouvrages qui m'ont passionné.
This video is primarily adapted from those captivating books.
Je vous fais un résumé des résultats.
Next, I’ll briefly summarize the key findings.