B1 · Episode 9 · 5:14
How Your Brain Misjudges Uncertainty
This episode explores how people estimate uncertainty when answering numerical questions—like the weight of a ham, Japan's population, or the speed of light—using probability distributions and confidence intervals to illustrate overconfidence and underconfidence.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
Et bien voici une proposition.
So here’s a suggestion.
Toutes les questions ne sont pas toujours à choix multiples.
Not all questions are multiple-choice.
Parfois, il faut répondre un chiffre.
Sometimes you need to give a number.
Pas seulement pendant une interro,
Not only during quizzes,
mais aussi et surtout dans les questions du quotidien.
but also—and especially—in everyday questions.
Ce sont des questions du type: quel
Questions like:
est le nombre de morts du Covid 19 dans le monde depuis le début de la pandémie?
What is the global death toll from COVID-19 since the pandemic began?
ou tout simplement combien pèse ce jambon
Or simply: How much does this ham weigh?
vas- y j'essaye je dirais quatre cinq kg ok c'est ma réponse mais je suis sûr de moi
Go on, I’ll try—I’d say 4.5 kg. OK, that’s my answer—but I’m not sure.
à quel point quelle est mon incertitude à
How uncertain am I?
quel point est ce que je m'attends à ce que le vrai poids soit proche ou éloigné de
How close or far from my answer do I expect the true weight to be?
ma réponse Bon, on va faire un schéma.
Alright, let’s draw a diagram.
Vous avez compris que j'aime les schémas.
You’ve probably noticed—I love diagrams.
Horizontalement, je place toutes les réponses possibles en kilos.
Horizontally, I place all possible answers in kilograms.
J'ai dit environ 4, 5 kilos ici.
I said about 4.5 kg—here it is.
Et je dirais que je suis sûr de moi à disons plus ou moins 300 grammes.
I’d say my confidence range is roughly ±300 grams.
Et là verticalement, c'est la plausibilité que j'attribue à chaque réponse possible.
Vertically, it’s the plausibility I assign to each possible answer.
Plus c'est haut, plus cette réponse me semble plausible.
The higher it is, the more plausible that answer seems to me.
Plus c'est proche de zéro, plus je trouve ça improbable.
The closer to zero, the less probable I find it.
L'unité de mesure, c'est juste une densité de probabilité.
The unit is simply a probability density.
Si jamais je suis sûr de moi, ça veut dire que j'attribue une forte probabilité à 4,
If I’m very confident,
5 exactement, et que c'est très improbable dès que je m'éloigne un peu de ça.
it means I assign high probability to exactly 4.5 kg—and it becomes very unlikely as soon as I deviate slightly.
Ça fait une courbe pointue.
That gives a sharp curve.
Si jamais je suis pas très sûr de moi,
If I’m not very confident,
ça veut dire que j'attribue quand même une bonne probabilité à 4,
it means I still assign decent probability to 4.6 kg,
6 kg, 4, 7 kg, voire même 4, 8 kg.
4.7 kg, or even 4.8 kg.
Ça fait une courbe plus aplatie.
It produces a flatter curve.
Le tout, c'est que la surface de la courbe soit toujours constante.
The key point is that the total area under the curve must always remain constant.
Notez bien que c'est pas obligé de proposer une belle courbe en cloche comme celle-
Note well: you’re not required to draw a neat bell-shaped curve like this one.
là. Votre proposition pourrait très bien avoir une forme plus raide d'un côté que de
Your curve could be steeper on one side than the other,
l'autre, voire avoir plusieurs pics à différents endroits.
or even have several peaks at different locations.
Là, c'est le logiciel que j'utilise qui me propose par défaut des courbes normales.
Here, the software I’m using defaults to drawing normal (bell-shaped) curves.
Mais ça correspond généralement pas mal à mon opinion.
But these curves generally match my personal judgment quite well.
On pourrait prendre comme score de notation simplement la plausibilité que j'avais
We could simply use the plausibility I assigned to the correct answer,
attribuée à la bonne réponse.
as the scoring criterion.
Si la bonne réponse est au milieu de ma cloche, ça fait des points,
If the correct answer falls at the center of my bell curve, you earn points;
et si ça tombe en dehors de ma cloche, ça fait zéro.
if it falls outside the curve, you get zero.
On peut même calculer une sorte de score de brilleur,
We can even compute a kind of ‘confidence score’:
pour avoir un zéro pour ceux qui savent qu'ils ne savent pas,
zero for those who know they don’t know,
et une note négative pour ceux qui sont en grave surconfiance,
and negative points for those severely overconfident,
par exemple juste en prenant un plus le logarithme de votre plausibilité de la bonne
for example, simply by taking the positive logarithm of your plausibility for the correct answer.
réponse. Bon bah allez, je pèse le jambon, suspense.
Alright, let’s weigh the ham—drumroll, please!
5 kilos 681. Flûte!
5.681 kilograms. Darn!
Non seulement j'avais grandement sous- estimé le poids du jambon,
Not only did I greatly underestimate the ham’s weight,
ça c'est pas grave, c'est un exercice pas évident,
that’s not so serious—it’s not an easy task,
mais surtout j'avais grandement surestimé la qualité de ma réponse.
but worse, I vastly overestimated how reliable my own answer was.
Ça, ça m'embête.
That’s what bothers me.
J'avais attribué une probabilité très très très faible que la réponse soit 5 kilos
I had assigned an extremely, extremely, extremely low probability to ‘5.681 kg’ being the correct answer;
681. Mais bon, encore une fois, un score de Brier,
Yet again, a Brier score
ça évalue en même temps ma connaissance brute et ma capacité à évaluer ma propre
evaluates both my raw knowledge and my ability to assess my own uncertainty.
incertitude. C'est pourquoi je vous propose une autre forme de notation,
That’s why I propose another scoring method:
qui note uniquement ma capacité à évaluer mon propre niveau,
one that evaluates *only* my ability to assess my own level,
sans prendre en compte si au final je suis bon ou mauvais.
without factoring in whether I’m ultimately right or wrong.
Je pourrais juste répondre à des centaines de questions,
I could just answer hundreds of questions,
mais essayer de faire en sorte que 90 % des bonnes réponses tombent à l'intérieur de
but try to ensure that 90% of the correct answers fall
mes fourchettes.
within my estimated ranges.
Pas moins, mais pas plus.
Not less than that, and not more either.
Moi, je raisonne en tranches de 90 %, parce que ça me parle,
I think in terms of 90% ranges because it feels intuitive to me,
mais si vous êtes matheux, vous pouvez proposer un écart- type,
but if you’re mathematically inclined, you could suggest a standard deviation,
n'importe quelle autre mesure de dispersion, c'est comme vous préférez.
or any other measure of dispersion—it’s up to your preference.
Si beaucoup de mes réponses sont en dehors de mes fourchettes,
If many of my answers fall outside my estimated ranges,
plus de dix pour cent, je suis en surconfiance.
more than 10%, then I’m overconfident.
Je suis trop sûr de moi.
I’m too sure of myself.
Je fais des fourchettes trop étroites.
My ranges are too narrow.
Il faut que je veille à me recalibrer.
I need to recalibrate my judgment.
Et si trop de réponses sont dans mes fourchettes, plus de 90%,
And if too many answers fall within my ranges—more than 90%,
alors je suis trop humble, je ne suis pas assez sûr de moi, je doute trop.
then I’m overly humble, insufficiently confident, and excessively doubtful.
Moi, c'est souvent ça mon problème, c'est courant chez les sceptiques.
For me, this is often the issue—it’s common among skeptics.
Il me faut me recalibrer.
I need to recalibrate.
Eh bien essayons.
Well, let’s give it a try.
Je vais estimer sans chiffres, c'est parti.
I’ll estimate without looking up numbers—let’s go!
Quelle est la population du Japon?
What’s Japan’s population?
Sans regarder sur internet, comme ça, à froid, je dirais combien?
Without checking online—just off the top of your head—what would you say?
Je ne sais pas trop, je suis jamais allé au Japon,
I’m not quite sure—I’ve never been to Japan,
j'ai jamais eu la curiosité de m'intéresser à ça.
nor have I ever felt curious about learning this.
Plus qu'en France, je dirais quelque chose comme 80 millions.
More than France’s population—I’d guess around 80 million.
Je dirais que mon incertitude est de disons plus ou moins 30 millions.
I’d say my uncertainty margin is roughly ±30 million.
Ok, suivant. Combien mesure Nicolas Sarkozy?
OK, next: How tall is Nicolas Sarkozy?
Ah ça je sais, je l'avais lu il y a quelques années,
Ah, I know this—I read it a few years ago.
ses talonnettes sont célèbres. Je crois que c'était un mètre soixante.
His heel lifts are famous—I think he’s 1.60 meters tall.
Je suis sûr de moi à disons plus ou moins cinq centimètres.
I’m confident my estimate is accurate within ±5 cm.
Ça fait entre un mètre cinquante- cinq et un mètre soixante- cinq.
That puts him between 1.55 and 1.65 meters.
Un mètre cinquante- cinq, c'est vraiment petit en fait, ça m'étonnerait.
1.55 meters is actually quite short—I’d be surprised.
Disons un mètre soixante- trois, plus ou moins cinq centimètres.
Let’s say 1.63 meters, with a margin of ±5 cm.
Ça fait entre un mètre cinquante- huit et un mètre soixante- huit.
So that’s between 1.58 and 1.68 meters.
C'est pas mal.
That’s not bad.
Suivant. Quelle est la vitesse de la lumière?
Next question: What’s the speed of light?
Facile, trois cents mille kilomètres seconde.
Easy—300,000 kilometers per second.
Plus ou moins, c'est un petit peu moins que trois cents mille kilomètres seconde,
Strictly speaking, it’s slightly less than 300,000 km/s,
genre deux cent quatre- vingt- dix- neuf quelque chose,
more like 299,000-something,
je me souviens pas les chiffres par cœur.
but I don’t recall the exact figure.
Je vais mettre une fourchette de plus ou moins mille kilomètres par seconde pour
To be safe, I’ll give a range of ±1,000 km/s.
être sûr.
That ensures reliability.