B1 · Episode 10 · 5:08
Calibrating Your Uncertainty
This episode explores how to accurately assess our judgment of uncertainty by using confidence intervals and predictive questions—like estimating election results or renewable energy shares—and measuring calibration through scoring methods like the Brier score.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
Mais non, l'objectif c'est pas d'être sûr.
But no, the goal isn’t to be certain.
Il faut qu'il y ait dix pour cent de chances que ce soit dehors.
There must be a ten percent chance that it’s outside the range.
Si je fais des fourchettes trop larges pour être sûr,
If I make my ranges too wide just to be safe,
j'aurais trop peu de réponses dehors, je serais mal calibré.
too few answers will fall outside—my calibration will be off.
Disons, je vais mettre 299 800 kilomètres par seconde, plus ou moins 200.
Say I write ‘299,800 km/s, plus or minus 200.’
Là, je pense qu'il y a quelques chances que je me trompe, mais pas trop.
Then I think I might be wrong—but not by much.
Voilà, vous avez compris, on en fait plein.
There you go—you’ve got it: we need lots of practice.
Quel est le pourcentage de votes RN aux dernières élections?
What percentage of votes did the National Rally (RN) get in the last election?
Combien on mange de kilos de viande par personne par an en moyenne en France?
How many kilograms of meat does each person in France eat per year, on average?
Quelle est la part d'énergie renouvelable dans notre mix électrique en ce moment?
What share of our electricity mix comes from renewable sources right now?
Combien y a- t- il de députés au Parlement en France?
How many deputies are there in France’s National Assembly?
On propose un chiffre et un intervalle,
We propose a number and an interval,
et après on compte combien de bonnes réponses sont tombées à l'intérieur de nos
then count how many correct answers fall within those intervals.
fourchettes. ce score est relativement indépendant de mes connaissances il ne mesure
This score is largely independent of my knowledge—it measures only
que ma capacité à douter ni trop ni trop peu c'est exactement ce que je voulais.
my ability to doubt—not too much, not too little. That’s exactly what I wanted.
Bien sûr, il faut choisir des questions dont on pense qu'il est possible de trouver
Of course, we must choose questions for which we believe a reliable source exists,
une source fiable.
such as a reputable data site or official report.
Parfois, c'est difficile de trouver des sources fiables,
Sometimes it’s hard to find trustworthy sources,
mais on peut toujours se proposer d'estimer le chiffre que l'on pense qu'on trouvera
yet we can still estimate the figure we expect to find on Wikipedia or some other official site.
sur Wikipédia ou sur tel autre site officiel.
Even if only roughly.
Mais tous les systèmes de notation que je vous ai proposés ont tous ce même défaut:
Yet all the scoring systems I’ve shown you share this same flaw:
la bonne réponse, entre guillemets, doit être trouvable quelque part.
The ‘correct answer’—in quotes—must be findable somewhere.
Donc pour mes tests, une réponse ne peut être acceptée qu'à froid,
So for my tests, answers are accepted only ‘cold’—
sans possibilité de faire de recherches ou de regarder sur internet.
no research allowed, no internet lookups.
C'est- à- dire que mes réponses ne sont que des a priori de ma part,
That means my answers are purely my own priors—
des préjugés de quelqu'un qui n'a pas eu le temps de se renseigner sur la question.
the biases of someone who hasn’t had time to research the question.
Ça c'est pas trop raccord avec le message du mouvement sceptique.
This isn’t quite aligned with the skeptical movement’s message.
J'aimerais pouvoir mesurer ma capacité à répondre de façon nuancée,
I’d like to measure—
à chaud, après avoir eu le temps de me renseigner sur le sujet,
my ability to respond promptly,
de comprendre la discipline, de mesurer les enjeux,
after having researched the topic, grasped the discipline, and assessed the stakes,
de peser chaque élément de la controverse.
and carefully weighed each element of the controversy.
Mais pour avoir une notation, il faut quand même qu'il y ait une vraie bonne
Yet to assign a score,
réponse. C'est tendu.
there must still be a genuinely correct answer. It’s challenging.
Pour ça, j'ai trouvé une méthode élégante.
For this, I’ve found an elegant method.
J'utilise les questions des marchés prédictifs,
I use questions from prediction markets,
parce qu'une très grande attention est portée sur les conditions de résolution.
since great care is taken in defining resolution criteria.
Du coup, je parie sur le futur,
So I bet on the future,
et je distribue mes plausibilités sur ce que l'avenir nous réserve.
distributing my subjective probabilities across what the future may hold.
Quelle équipe gagnera la coupe du championnat du monde cette année?
Which team will win the World Championship Cup this year?
Disons, voilà.
Say, for example, this one.
Qui sera élu à la prochaine élection?
Who will be elected in the next election?
Je dirais tant de pourcent de chances qu'un tel soit élu,
I’d say there’s an X% chance that person A will be elected,
tant de pourcent de chances tel autre.
and a Y% chance for person B.
C'est difficile de ne pas voter pour mes préférences,
It’s hard not to vote according to my preferences,
mais uniquement pour les chances que selon moi ça se réalise.
but solely based on how likely I believe it truly is to happen.
Quelle sera l'inflation aux États- Unis entre telle date et telle date?
What will U.S. inflation be between this date and that date?
Ces sites de marchés prédictifs archivent mes performances sous la forme d'un score
These prediction market sites archive my performance as a Brier score,
de Brier, que j'ai expliqué tout à l'heure.
the metric I explained earlier.
Moi seul peut les consulter, c'est juste pour moi,
Only I can access them—it’s just for me,
je ne m'inscris pas aux tournois, il n'y a rien à gagner.
I don’t enter tournaments, and there’s nothing to win.
Ça me sert juste pour m'entraîner à correctement étalonner mes incertitudes,
It simply helps me train to calibrate my uncertainty more accurately,
pour essayer d'avoir une vision du monde qui correspond à la réalité,
to strive for a worldview that matches reality,
pour savoir à quelle.
and to know precisely how confident I should be.
Je suis capable d'anticiper ce qui va arriver.
I can anticipate what will happen next.
Spoiler: très peu.
Spoiler: Very little.
Je vous en parlerai dans une prochaine vidéo.
I'll talk to you about it in a future video.
J'adore faire ce genre d'exercice pour tester ma propre sagacité.
I love doing this kind of exercise to test my own sharpness.
Pourtant, je ne suis vraiment pas fan de développement personnel.
Yet, I'm really not a fan of personal development.
L'important, c'est que nous soyons sagaces collectivement.
What matters is that we all remain sharp collectively.
Mettons tous à l'épreuve notre capacité collective à être conscients de nos
Let’s all test our collective ability to be aware of our capacities.
capacités. Moi en tout cas, je pense que je me suis vraiment amélioré à cet
At least for myself, I think I’ve truly improved at this exercise.
exercice. La dernière notation que j'ai proposée,
The most recent scoring criterion I proposed is:
avoir 90% des bonnes réponses à l'interne de mes fourchettes,
achieving 90% correct answers within my own estimated ranges.
je l'aime bien pour m'auto- évaluer dans mon coin,
I really like using it for self-assessment in private,
parce qu'elle est presque indépendante de mes performances réelles.
because it’s nearly independent of my actual performance.
Mais ça ne peut pas servir à comparer les gens,
But it cannot be used to compare people,
parce que malheureusement elle n'a pas cette propriété d'être pro- honnêteté.
because, unfortunately, it lacks the property of being 'proximate to honesty.'
C'est- à- dire que si on veut tricher,
That is, if you want to cheat,
il y a carrément moyen d'optimiser ce score en ne répondant pas sa vraie crédence,
you can definitely avoid entering your true credence,
mais en répondant de façon stratégique.
and instead answer strategically to boost this score.
Je vous laisse chercher les martingales.
I’ll let you search for martingales.
Les sites des marchés prédictifs utilisent toujours des scores de brier ou des trucs
Prediction market websites always use Brier scores or similar metrics
approchant pour s'assurer que le plus optimal est toujours de donner sa véritable
to ensure that people’s optimal strategy is always to report their true belief
conviction. Je suis toujours dégoûté quand on propose des systèmes qui n'ont pas
I’m always disgusted when systems lacking this property are proposed
cette propriété, dans les notations scolaires, les sondages d'opinion,
in school grading, opinion polls, or—worse yet—in our elections
ou encore plus dans nos élections.
that lack this property
Je dois vous avouer maintenant que j'ai un peu joué au naïf pour donner l'exemple,
I must confess to you now that I pretended to be naive just now to set an example,
parce que je connais très bien ce roman de Van Gogh sur les noms A.
because I’m very familiar with Van Gogh’s novel about the surname A.
Je l'avais lu très jeune, j'avais rien compris, ça m'avait vexé,
I read it when I was very young, but understood nothing— it left me feeling embarrassed,
alors j'avais fait des recherches un peu pour savoir de quoi c'était censé parler.
so I did some research to find out what it was actually supposed to be about.
Je l'ai relu plus tard et j'ai trouvé ça passionnant.
Later, I reread it and found it fascinating.
c'est ça qui m'a lancé sur les sujets de la pensée critique et de l'épistémologie,
That’s what led me into the topics of critical thinking and epistemology,
les sujets dont je parle ici.
the very topics I discuss here.
C'est devenu une passion.
They’ve since become a passion of mine.
Et au final, je me suis rendu compte que je n'étais pas du tout d'accord avec le
In the end, I realized I completely disagreed with the novel’s message.
message du roman.
—its central idea.
Du coup, je le relis régulièrement et je découvre à chaque fois plein de notions que
So I reread it regularly, and each time discover many concepts I hadn’t fully grasped before.
je n'avais pas bien saisies.
—ideas I hadn’t properly understood earlier.
Lisez le et critiquez le.
Go read it—and critique it.
c'est formateur.
It’s truly formative.