B1 · Episode 2 · 4:59
Data Quality and Cognitive Bias
This episode explains how our prior beliefs shape how we interpret new information, and how the quality of data—specifically its noise (random error) and bias (systematic error)—affects the accuracy of our judgments and decisions.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
Mais en revanche, je ne sais pas si j'avais été assez clair,
But on the other hand, I’m not sure whether I was clear enough earlier,
la. bayésienne ne nous sera d'aucune utilité pour résoudre le gros problème comment
Bayesian reasoning won’t help us at all with the core problem:
évaluer la qualité de mes données disponibles comment obtenir de meilleures données
how to assess the quality of our available data, and how to obtain better data,
qui correspondent mieux au réel
data that better reflect reality.
même si mon cerveau était assez gros, sans défaut,
Even if my brain were large enough and flawless,
avec la puissance de calcul nécessaire à un raisonnement purement bayésien,
and had all the computing power needed for purely Bayesian reasoning,
eh bien, si je lui donne des données de merde en entrée,
well, if I feed it garbage as input,
il me sortira des jugements de merde en sortie.
it will produce garbage judgments as output.
Même la meilleure machine à saucisson du monde garantit sans aucun défaut,
Even the world’s best sausage machine—flawless in every way—
si tu lui donnes de la merde en entrée,
if you feed it garbage as input,
elle te donnera un saucisson de merde en sortie.
will give you garbage sausages as output.
Garbage in, garbage out.
Garbage in, garbage out.
Nos données de départ, sur lesquelles on prend des décisions ou sur lesquelles on
The initial data we use to make decisions or form beliefs
fonde nos croyances, sont toutes très différentes entre nous.
vary greatly from person to person.
Vous, moi, et le pape par exemple, on n'a pas eu tous exactement
You, me, and even the Pope, for example,
la même éducation, la même culture, on n'a pas lu exactement les mêmes livres,
didn’t receive exactly the same education or cultural upbringing, nor read exactly the same books,
les mêmes journaux, on n'a pas eu les mêmes expériences personnelles,
the same newspapers, nor have had the same personal experiences,
la même famille, le même cercle d'amis, les mêmes traditions,
the same family background, circle of friends, or traditions,
la même classe sociale, le même genre,
the same social class or gender,
on n'a pas tous été élevés dans la même religion, avec les mêmes croyances,
weren’t raised in the same religion or with the same beliefs, etc.
etc. Nos a priori sont différents.
So our prior beliefs differ.
Il n'y a pas de raison que l'on ait tous les mêmes a priori sur tout.
There’s no reason why we should all share identical priors about everything.
Et un raisonnement bayésien est dépendant des a priori.
And Bayesian reasoning depends precisely on these priors.
On prend les données qu'on a, on compare avec ce que l'on sait déjà,
We take the data we have and compare it with what we already know,
et éventuellement on décide de modifier un peu une opinion dans un sens ou un autre
and may then slightly adjust an opinion one way or another,
pour mettre à jour notre vision du monde.
to update our view of the world.
Et on tourne comme ça depuis notre naissance avec des données pas exactement
And we've been spinning like this since birth, using data that isn't exactly
identiques. Euphémisme.
identical—a euphemism.
Du coup, même si maintenant je nous présente à tous le même jeu de données,
So even if I now present all of us with the same dataset,
je sais pas moi par exemple le rapport du GIEC,
say, I myself don’t know—just as an example—the IPCC report,
et même si ces données sont vraiment exactes et conformes au réel.
and even if those data are truly accurate and reflect reality.
Et même si on avait tous des turbo cerveaux sans aucun biais,
And even if we all had turbo-charged brains with zero bias,
eh bien on aura quand même des jugements différents sur les mesures écologiques,
we’d still form different judgments about ecological measures,
parce qu'on prend en compte nos a priori,
because we each bring our own prior assumptions,
et on n'a pas tous les mêmes a priori. C'est pour ça que, depuis le début,
and not everyone shares the same priors. That’s why, from the start,
ma chaîne repose sur ces deux piliers: l'éducation à la pensée critique,
my channel has rested on two pillars: education in critical thinking,
la rationalité, en particulier le bayésianisme, pour agir ici,
and rationality—especially Bayesian reasoning—to act here,
savoir analyser la qualité de mes raisonnements, éviter mes biais,
that is, learning to assess the quality of my own reasoning and avoid my biases;
tout ça, et l'éducation aux médias, pour agir ici,
and media literacy education—to act here,
savoir analyser la qualité de données que l'on vient me proposer,
that is, learning to assess the quality of data others offer me,
savoir évaluer la qualité des données dont je me suis fait gaver depuis ma
and to evaluate the quality of data I’ve been fed since birth.
naissance. Concentrons nous pour commencer sur les causes externes,
Let’s first focus on external causes,
sur la qualité des données de travail.
namely, the quality of our working data.
C'est la qualité de mes sources d'information, de mes abonnements de presse,
This refers to the quality of my information sources—such as my newspaper subscriptions,
réseaux sociaux, YouTube, de mes choix de livres, tout ça.
social media feeds, YouTube channels, and books I choose—all of that.
Ici, ce que j'appelle des données de qualité,
simply means data that accurately represent reality,
c'est simplement des données représentatives du réel,
simply means data that accurately represent reality,
qui ne doivent pas être trompeuses.
and must not be misleading.
Disons que sur ce panneau, on dessine une cible quelque part,
Say we draw a bullseye somewhere on a board,
et que l'on demande à des gens de viser le centre de la cible avec des carabines.
and ask people to aim rifle shots at its center.
ça me permettra de faire un schéma.
That’ll let me draw a diagram.
Vous avez compris que j'aime les schémas.
You understand that I love diagrams.
Et disons que moi, je suis de l'autre côté du panneau.
Let’s say I’m on the other side of the target board.
Du coup, je ne vois que les impacts, mais je ne sais pas où est la cible.
So I only see the bullet impacts, but I don’t know where the target is.
C'est ça ma question: où est centrée la cible?
That’s my question: Where is the bullseye located?
Cette question, c'est une métaphore de la démarche scientifique.
This question is a metaphor for the scientific approach.
La cible derrière, c'est la vérité que je cherche.
The target behind represents the truth I’m seeking.
Au début, je ne sais pas où elle est, ni même si elle existe,
At first, I don’t know where it is—or even whether it exists at all—
parce que pour ce que j'en sais, c'est même pas sûr qu'il y en ait une.
because, as far as I know, there might not be one at all.
Mais on va supposer que oui.
But let’s assume it does.
Chaque impact, c'est une donnée expérimentale,
Each impact is an experimental data point,
qui est plus ou moins près de la vérité.
which lies closer to or farther from the truth.
L'endroit où je pense que se situe probablement la cible,
The spot where I think the target is most likely located,
c'est mon hypothèse du moment, ma théorie scientifique actuelle.
is my current hypothesis—my present scientific theory.
Là, je dirais ici.
Here, I’d say it’s around here.
Ma théorie peut bien sûr évoluer avec l'apparition de nouvelles données.
Of course, my theory can evolve as new data appear.
Et la distance entre mon hypothèse et la vérité, c'est mon erreur.
The distance between my hypothesis and the truth is my error.
C'est cette distance que je cherche à minimiser.
It’s this distance that I aim to minimize.
Je voudrais être au plus proche de la vérité.
I want to get as close to the truth as possible.
Je voudrais ne pas trop faire d'erreur.
I want to keep my error relatively small.
Ici on peut facilement quantifier la qualité des données.
Here, we can easily quantify data quality.
C'est analyser la répartition des impacts autour de la cible et évaluer dans quelle
It means analyzing how the impacts are distributed around the target,
proportion cette série d'impacts était susceptible de m'induire en erreur.
and estimating how likely this set of impacts is to mislead me.
Est- ce que les données étaient trompeuses?
Were the data misleading?
Et pour sortir de la métaphore, est- ce que cet article, cette expérience,
To step out of the metaphor: Is this paper, this experiment,
ce sondage est susceptible de m'induire en erreur?
or this survey likely to mislead me?
Déjà, ces données peuvent avoir plus ou moins de bruit,
First, this data may contain more or less noise,
c'est- à- dire être plus ou moins concentrées près de la cible,
meaning the data points are more or less clustered near the target,
selon la compétence des gens qui tirent ou selon la distance de tir.
depending on the shooter’s skill or the shooting distance.
Là, il y a peu de bruit, c'est facile de deviner où était la cible.
Here, there’s little noise—so it’s easy to guess where the target was.
Là, il y a beaucoup de bruit.
Here, there’s a lot of noise.
C'est difficile de dire avec précision.
It’s hard to tell precisely.
Bah, elle était là.
Well, it was roughly there.
Mais avoir beaucoup de bruit, c'est pas grave si on peut avoir beaucoup de données,
But having lots of noise isn’t a problem—if we can collect plenty of data,
avec beaucoup d'impact.
that is, many impact points.
On finit par deviner assez bien la position de la cible.
We can still estimate the target’s position quite accurately.
En prenant la moyenne, le barycentre, on tombe assez juste.
By taking the average—the center of mass—we land quite close to the true position.