B2 · Episode 7 · 5:03
The Truth About How Science Really Works
This episode examines how scientific reputation is built—not just through merit, but via publication tactics like 'salami slicing', selective data reporting, citation gaming, and the influence of senior gatekeepers. It also discusses peer review’s strengths, its vulnerabilities (e.g., entrenched elites), and how metrics like the h-index shape careers—often distorting scientific integrity.
Source：Tranxen / skeptikon.fr · License：CC BY-SA 4.0
Transcript
Si un scientifique est renommé, il doit être très doué dans son domaine.
If a scientist is renowned, they must be highly skilled in their field.
Il est l'un des plus pointus, un des plus méritants.
He is one of the most accomplished and meritorious researchers.
Pour se faire connaître, un chercheur a plusieurs manières de se démarquer,
To gain recognition, a researcher has several ways to stand out,
plus ou moins honnêtes.
some more honest than others.
Et plus on avance, plus ces techniques ont tendance à être utilisées par tous les
And as time goes on,
scientifiques à tous les stades de la carrière.
these techniques tend to be adopted by scientists at every career stage.
On a par exemple la stratégie du découpage de salami.
For example, there’s a strategy called ‘salami slicing.’
Donc en gros, vous avez votre étude et vous allez envoyer un bout de publication à
In short, you conduct a study,
une revue et un autre bout de publication à une autre revue.
then submit one part of it to one journal and another part to a different journal.
Et comme ça, à chaque fois, vous pouvez vous auto- citer.
That way, each time you publish, you can cite your own work.
Donc à la fin, vous allez être plus publié et plus cité.
In the end, you’ll have more publications and more citations.
Donc c'est tout bénef.
So it’s all upside.
que là, avec ces stratégies, on peut avoir des gens qui vont être avantagés dans
The issue is that with these strategies, people,
leur carrière juste parce qu'ils connaissent la stratégie.
simply because they know the tricks, gain advantages in their careers.
Pas pour des raisons de rigueur scientifique.
Not for reasons of scientific rigor.
D'une manière générale, on est à peu près aussi méritant dans le monde scientifique
Generally speaking, merit in the scientific world,
qu'on l'est dans le reste de la société.
is roughly on par with that in the rest of society.
C'est à dire pas beaucoup.
In other words, it’s not very high.
En fait, il y a tout un tas de techniques qu'il faut maîtriser pour pouvoir s'en
In fact, to succeed in today’s hyper-competitive research world,
sortir dans ce monde hyper compétitif qu'est devenue la recherche scientifique
you need to master a whole set of strategies;
aujourd'hui. Évidemment, on pense au cas de fraude,
obviously, fraud comes to mind first—
à des gens qui ont inventé purement et simplement des données pour faire impression.
people who fabricate data outright to impress others.
Mais dans les faits, c'est finalement très rare.
But in practice, outright fabrication is actually quite rare.
Entre le scientifique parfaitement honnête sur ses données et la pure invention,
Between the perfectly honest scientist and the one who fabricates data entirely,
il y a une large zone grise, et c'est vraiment ça le vrai sujet de préoccupation.
there lies a broad gray area—and that’s truly the main concern.
On peut avoir récolté des données et au moment d'écrire l'article,
We may have collected data, but when writing the paper,
en enlever quelques unes pour que la conclusion qu'on présente soit plus
we might remove some of it so that the conclusion we present appears more
intéressante. Et dans ces cas- là,
interesting. In such cases,
il n'y a pas de mensonge puisque aucune donnée n'a été inventée,
there’s no deception, since no data has been fabricated,
mais la personne qui fait que lire l'article n'aura pas une vision d'ensemble
yet the reader won’t get an overall view
honnête. de ce qui s'est passé.
that honestly reflects what actually happened.
Si on prend un anthropologue qui a observé quelque chose pendant deux ans.
Take, for example, an anthropologist who observed something over two years.
Il va pas prendre tous ses carnets de notes et les mettre dans un article,
He won’t include all his field notes in a single article—
ce serait beaucoup trop long.
that would be far too long.
On a une sélection qui est nécessaire,
Such selection is necessary,
et en théorie elle permet de rendre compte honnêtement de toutes les observations
and in theory, it should honestly represent
qui ont été faites.
all the observations made.
En pratique, plus on va mettre en compétition les chercheurs entre eux,
In practice, the more researchers compete with each other,
plus ils seront incités à garder les choses qui valident une théorie qui est très
the more they’ll be tempted to keep only the material supporting a highly valued theory,
valorisante. Bon là quand je dis ça,
Now, when I say this,
tous les complotistes sortent des buissons en mode: " Haha, je le savais!
all the conspiracy theorists instantly leap out from the bushes shouting: "Ha ha, I knew it!"
Les scientifiques sont malhonnêtes et font dire ce qu'ils veulent aux chiffres,
Scientists are dishonest and twist numbers to say whatever they want,
tout n'est que tromperie!" Mais ça serait oublier tout ce qui est fait pour
Everything is just deception! But saying that overlooks all the measures taken to control biases and errors—whether intentional or not—
contrôler les biais et les erreurs qu'ont pu faire le chercheur volontairement ou
that researchers might introduce.
non. ce qui sous- entend que les publications non scientifiques ont encore plus de
This implies non-scientific publications contain even more bias.
biais. Pour se critiquer, des revues scientifiques et des collections de livres ont
To enable self-critique, scientific journals and book series have editorial review committees,
des comités de relecture.
which serve precisely as a safeguard,
ça serve de garde- fou justement, et ça permet de se critiquer.
allowing researchers to critique one another.
Et la plupart du temps, c'est vraiment un système qui marche bien,
Most of the time, this system works well,
qui est assez efficace.
and proves quite effective.
Ces comités sont souvent des gens assez reconnus, souvent plutôt âgés du coup,
These committee members are often quite well-known people, and thus tend to be rather elderly.
et parfois on voit apparaître quelque chose qu'on appelle des monopoles
Sometimes, something called 'bureaucratic monopolies' emerges.
gérantocratiques, basiquement des vieux qui prennent le pouvoir.
Basically, it’s older people seizing control.
On aura là des personnes installées depuis longtemps qui seront parfois en décalage
There, you’ll find people who have held positions for a long time,
avec les dernières innovations de la discipline.
who sometimes fall out of step with the discipline’s latest innovations.
Mais ce sont elles qui tiennent les revues,
Yet they control the academic journals,
donc ces vieux chercheurs vont tout faire pour conserver les anciennes méthodes et
so these senior researchers will do everything possible to preserve traditional methods,
ça retardera les découvertes futures.
thereby delaying future scientific discoveries.
Bon évidemment là je parle des cas un peu extrêmes,
Of course, I’m describing somewhat extreme cases here.
évidemment ça finit toujours par se renouveler,
Naturally, renewal always eventually happens.
les mauvaises théories et les fraudes scientifiques,
Faulty theories and scientific fraud,
elles sont rangées au grenier, et voilà finalement ça se passe bien.
end up gathering dust in the attic—and ultimately, things work out fine.
En fait, ce qui est vraiment compliqué, c'est qu'on
In fact, what’s truly difficult is that we
sait pas ce qui fera référence demain dans le temps long si vous voulez.
don’t know which works will become authoritative references tomorrow—or in the long run.
Alors comment est- ce qu'on peut savoir à
So how can we determine
qui faire confiance aujourd'hui?
whom to trust today?
Des projets ont essayé de créer des indicateurs chiffrés pour répondre à cette
Some projects have tried creating numerical indicators to answer this question,
question. On a ainsi développé la scientométrie.
leading to the development of scientometrics.
Qui mesure le nombre de publications des chercheurs,
It measures researchers’ numbers of publications,
leur nombre de fois où ils sont cités,
how often their work is cited,
la puissance d'impact des revues où ils publient,
and the impact power of the journals where they publish,
et ça permet de créer des trucs comme l'indice de Hirsch,
enabling tools like the Hirsch index to be created,
qui mesure l'impact individuel de chaque chercheur,
which measures each researcher’s individual impact,
qui permet de voir grosso modo qui fait autorité.
helping us roughly identify who holds scholarly authority.
En théorie. Parce qu'en pratique, c'est tellement devenu un indice scruté
In theory. But in practice, it’s become so closely scrutinized
que tous les scientifiques sont incités à utiliser les fameuses techniques pour
that all scientists are incentivized to use well-known techniques
artificiellement faire monter leurs indicateurs.
to artificially inflate their metrics.
Robert Merton, qui a fondé la sociologie des sciences,
Robert Merton, who founded the sociology of science,
expliquait que ça fonctionne par un effet Mathieu.
explained that it operates through a Matthew effect.
C'est- à- dire que les grands scientifiques, ils auront toutes les récompenses,
That is, eminent scientists receive all the rewards,
tout va bien, et ceux qui débutent, ils auront aucun poste,
everything goes well for them, whereas newcomers get no positions,
aucun article publié, que dalle.
publish no articles—absolutely nothing.
C'est- à- dire qu'à ceux qui ont beaucoup, on donne beaucoup,
In other words, ‘to those who have much, more will be given,’
et à ceux qui ont peu, on donne peu.
‘and from those who have little, even what they have will be taken away.’
On a même parfois des mandarins qui sont tellement influents qu'ils contrôlent tout
Sometimes, there are even mandarins so influential that they control
un pan d'une discipline.
an entire subfield of a discipline.
Donc c'est souvent des gens qui dirigent un labo, qui dirigent une revue,
They often head a laboratory, edit a journal,
qui dirigent une collection de livres,
oversee a book series,
et en plus qui enseignent dans des grandes universités.
and also teach at prestigious universities.
Donc c'est vraiment des gens qui cumulent l'oué.
So these people truly accumulate all these roles.
Et c'est très conseillé d'être ami avec un mandarin pour se faire un nom.
Thus, it’s highly advisable to befriend a mandarin to make a name for yourself.
Parce que à moins d'avoir vraiment trouvé le truc révolutionnaire qui va permettre
Because unless you’ve truly made a revolutionary breakthrough
de te démarquer, eh ben tu resteras un anonyme autrement.
that sets you apart, you’ll otherwise remain anonymous.