B1 · Episode 12 · 4:13
Does the Dunning-Kruger Effect Even Exist?
This episode critically examines whether the Dunning-Kruger effect is a real psychological phenomenon or largely explained by statistical artifacts—especially regression to the mean and overconfidence bias—citing decades of scientific debate, methodological challenges, and recent studies questioning its validity.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
Par contre, ça ne veut pas dire que l'effet Dunning- Kruger tel que décrit n'existe
On the other hand, this doesn’t mean the Dunning-Kruger effect—as described—doesn’t exist.
pas, parce que ces effets de régression vers la moyenne c'est difficile à
Because these regression-to-the-mean effects are hard to quantify.
quantifier. Ces artefacts statistiques pourraient ne pas expliquer 100% du
These statistical artifacts might not explain 100% of the phenomenon.
phénomène. Si ça se trouve, une partie de la courbe observée est due à cette
Perhaps part of the observed curve stems from
combinaison de régression vers la moyenne plus biais de surconfiance,
this combination of regression to the mean and overconfidence bias;
et le reste est dû à cet effet Dunning- Kruger.
and the rest is truly due to the Dunning-Kruger effect.
C'est possible.
That’s possible.
Mais si ça se trouve, la courbe observée est entièrement expliquée par cette
But it’s also possible that the entire observed curve
combinaison de régression vers la moyenne plus biais de surconfiance,
is fully explained by this combination of regression to the mean and overconfidence bias,
et il ne reste rien à expliquer.
leaving nothing left to explain.
Si ça se trouve, l'effet Dunning Kruger n'existe pas.
In fact, the Dunning-Kruger effect might not exist at all.
Pour trancher, il faudrait pouvoir évaluer la taille de la dispersion de nos
To settle this, we’d need to measure the spread (variability) of people’s actual performance
résultats à ce genre de tâche, et
on such tasks—and
la dispersion de nos auto- évaluations.
the spread of their self-assessments.
Déjà, faire passer le même test de grammaire à des centaines de personnes,
First, administering the same grammar test to hundreds of people
c'est pas simple.
is already not simple.
Faut du budget, de la logistique.
It requires budget and logistics.
Mais faire passer des centaines de tests de grammaire différents à des centaines de
But administering hundreds of *different* grammar tests to hundreds of people
personnes, c'est titanesque.
is truly titanic.
Et surtout, faire s'auto- évaluer des centaines de fois,
Especially difficult is having hundreds of people self-assess themselves hundreds of times
des centaines de personnes sur des centaines de tests, c'est...
across hundreds of tests—this is…
C'est même impossible.
Even impossible.
C'est un défi méthodologique plus que logistique.
It’s primarily a methodological challenge—not just a logistical one.
Comme je le disais dans mon épisode précédent, quantifier le bruit,
As I mentioned in my previous episode, quantifying ‘noise’
c'est très difficile.
is extremely difficult.
Et même s'il existait un effet résiduel non expliqué par les artefacts statistiques,
Even if there were a residual effect unexplained by statistical artifacts,
ça voudrait pas dire que c'est parce que être incompétent nous pousse à nous croire
that wouldn’t mean incompetence causes people to overestimate themselves.
compétent. Parce que souvenez- vous,
Because remember—
c'est pas directement la compétence absolue qu'on mesure.
what we’re actually measuring isn’t absolute competence.
Ce qu'on mesure, c'est la façon dont les sujets se placent par rapport aux autres.
What we measure is how subjects rate themselves *relative to others*.
C'est très différent.
That’s very different.
Si ça se trouve, tout simplement, on estime bien nos propres capacités,
Maybe, quite simply, we judge our own abilities fairly well,
mais on évalue mal celles des autres.
but misjudge others’ abilities.
Ah bah tiens, ça changerait bien le narratif des éthiciens, ça.
Ah—well, that would completely rewrite ethicists’ narrative!
Ces critiques de l'interprétation de Dunning- Kruger, c'est pas juste moi,
These critiques of the Dunning-Kruger interpretation aren’t just my opinion—
moi je suis personne.
I’m nobody.
Ces questions font l'objet d'une longue littérature scientifique.
These questions have generated extensive scientific literature.
Depuis 25 ans, il existe beaucoup de publications dans les revues scientifiques pour
For 25 years, many scientific journals have published studies,
proposer de nouvelles données expérimentales, bien sûr,
of course presenting new experimental data,
mais surtout pour argumenter sur la pertinence de l'interprétation qu'on peut en
but especially debating whether the standard interpretation holds up,
tirer, ou pour proposer ce qu'il faudrait mettre en place pour en savoir plus.
or proposing what further steps are needed to understand it better.
Je vous mets plein de liens en description.
I’ve included plenty of links in the description.
Là, une critique de l'étude originale, dès 2002, par Kruger et Mueller.
Here’s a critique of the original study, published as early as 2002 by Kruger and Mueller.
Attention, c'est pas le même Kruger, c'est un autre,
Caution: this ‘Kruger’ isn’t the same person—the spelling differs slightly.
ça s'écrit pas exactement pareil.
It’s not spelled exactly the same way.
C'est pas facile, faut suivre.
It’s not easy—you really need to pay attention.
Incompétent, inconscient, ou les deux?
Is it incompetence? Lack of awareness? Or both?
Comment l'effet supérieur à la moyenne et les biais statistiques de régression vers
How the ‘better-than-average effect’ and statistical regression-to-the-mean biases,
la moyenne permettent de prédire les erreurs d'estimation de ses propres
jointly predict errors in estimating one’s own performance—
performances. C'est grosso modo ce que je viens d'expliquer dans cet épisode.
that’s roughly what I’ve just explained in this episode.
La réponse de Dunning et Kruger à ces critiques, la même année: «
Dunning and Kruger’s response to these criticisms, published the same year: “
Incompétents et inconscients?
Incompetent and Unaware?
Mais pourquoi?
But why?
Une réponse à Kruger et Müller».
A Reply to Kruger and Mueller.”
Ils essayent de défendre leur hypothèse originale.
They attempt to defend their original hypothesis.
De nouvelles critiques exposent de nouveaux biais,
Newer criticisms expose new biases,
par exemple Burson 2006: « Compétents comme incompétents,
for example, Burson (2006): “Both the competent and the incompetent,
tous sont inconscients de leurs compétences:
are all unaware of their own abilities:
comment les perceptions de la difficulté entraînent de mauvais calibrages dans les
how perceptions of task difficulty lead to poor calibration in relative comparisons,
comparaisons relatives».
”
L'art des titres.
The Art of Titles.
Plus récent, une étude sur l'impact du bruit sur l'effet Dunning- Kruger.
More recently, a study on how statistical noise affects the Dunning-Kruger effect.
Dufresne 2016.
Dufresne (2016).
Les simulations à partir de nombres aléatoires révèlent que le bruit statistique
Simulations using random numbers reveal that statistical noise
affecte les mesures et les représentations graphiques des auto- évaluations de la
affects both the measurement and graphical representation of self-assessments of competence;
compétence. Là, ils essayent de mesurer à partir de quelle quantité théorique de
there, they try to quantify the theoretical level of data dispersion at which
dispersion dans les données ça annulerait l'effet d'Dunning- Kruger observé.
the observed Dunning-Kruger effect would vanish.
Et encore aujourd'hui, ils sortent plein de papiers fascinants sur le sujet,
Even today, they continue publishing numerous fascinating papers on this topic,
surtout par des statisticiens.
especially by statisticians.
Par exemple, Gignac 2020: «
For example, Gignac (2020): “
L'effet Dunning- Kruger est principalement un artefact statistique. »
The Dunning-Kruger effect is primarily a statistical artifact.”
Une méthode pour tester cette hypothèse grâce aux données de dispersion
A method for testing this hypothesis using inter-individual dispersion data.
interindividuelles.
(This method)
Eux, ils essaient de quantifier le bruit dans les notations.
attempts to quantify noise in ratings.
Et ils concluent que l'effet Dunning- Kruger, s'il existe,
They conclude that, if the Dunning-Kruger effect exists at all,
est largement surestimé. l'effet déca surestimé
it is substantially overestimated.
elle était vraiment méta cette vidéo.
This video was truly meta.