Nouveaux enjeux autour de la reproductibilité

L’Institut Pasteur m’a formé comme chercheur il y a vingt ans. J’ai appris que la science fondamentale trouvait son efficacité, sa crédibilité et ses lettres de noblesse dans une extrême rigueur, une grande honnêteté intellectuelle et surtout une dose massive de liberté d’esprit et de créativité. Une fois ces conditions réunies, elle m’apparaissait comme une source intarissable de nouvelles connaissances, teintées de fiabilité et de pérennité. Les méthodes utilisées et les moyens expérimentaux mis à contribution trouvaient leur conformité et leur validité dans des démarches pensées et argumentées avec courage et intégrité.

La célèbre revue Nature, un des fleurons de la presse scientifique spécialisée, lève le voile sur un problème d’une importance capitale et bouscule mes convictions de pasteurien. Dans son éditorial du 25 mai dernier, le périodique déclare que 52% des chercheurs interrogés estiment que certaines « vérités » émergeant des laboratoires de recherche ne sont pas forcément reproductibles !

L’embarras n’est pas nouveau, Nature ne faisant que poursuivre le débat initié en 2012 dans ses éditoriaux. Seulement voilà, cet irritant interne à la science devient plus évident. À y regarder de plus près, il semblerait que les causes soient assez bien identifiées et qu’il soit relativement aisé de réétudier les pratiques employées ; cependant, les scientifiques d’aujourd’hui, moins bien lotis que ceux que j’ai connus autrefois, doivent composer avec des enjeux différents qui dépassent encore une fois le cadre strict du laboratoire. La science donc se juge elle-même, se remet en question mais parvient tout autant à identifier des causes qui n’ont rien à voir avec les fondements de la science.

Le problème se révèle donc d’une très grande complexité, qu’un simple article ne saurait couvrir de façon exhaustive. Toutefois, après avoir considéré chacun des éléments qui contribuent au problème soulevé par Nature, attardons-nous sur quelques faits comme autant d’éléments pouvant expliquer ce que d’aucuns considèrent comme une crise.

 

La crise de la reproductibilité

Chaque mois, des milliers d’articles scientifiques sont publiés. Pour les plus sérieux d’entre eux, on penserait qu’ils sont tous vérifiables. Et pourtant, sans considérer les études publiées avec tricherie et qui ne constituent en aucun cas un acte scientifique, de nombreux résultats ne rencontrent jamais l’approbation collégiale.

Certes oui, de nombreuses études parviennent à prouver un fait scientifique qui apparait sans équivoque et reproductible « à tout coup », mais d’autres ne le sont que si l’on se place rigoureusement dans les mêmes conditions de l’expérience initiale. Et le fait est qu’elles peuvent être difficiles voire impossibles à reproduire.

En effet, lors de toute expérience scientifique, la quantité de variables à considérer est quasi-infinie. L’expérimentateur se doit de définir les conditions expérimentales qui lui semblent justes selon ses connaissances et les moyens à sa disposition. Un autre expérimentateur, impuissant à reproduire les conditions exactes décrites par son collègue, se retrouve devant l’incapacité à vérifier le même résultat. « Ce que je lis est-il bien vrai, se demande-t-il, et quel intérêt cette étude pourrait avoir si je ne peux pas l’appliquer à mes propres recherches ?! »

Un autre point est à considérer. Les phénomènes que les scientifiques tentent de détecter sont parfois si infimes et si discrets qu’il est nécessaire de les amplifier par certains artifices pour les observer. Les techniques d’amplification, souvent très efficaces, font parfois émerger des phénomènes inconnus difficiles à identifier. Un événement observé peut finalement « tromper » l’expérimentateur et le mettre sur une mauvaise piste sans remettre en cause sa théorie initiale.

Cet état de fait pourrait paraître critiquable aux yeux du public, mais il faut se rendre à l’évidence : la science avance depuis deux millénaires malgré ce principe. Il est nécessaire de prendre conscience que chaque découverte a suscité de nombreux essais-erreurs pour émerger.

À la lumière des données recueillies, l’article de Nature mentionne également que les outils statistiques ne sont pas forcément maitrisés et adaptés. Point important, trop de confiance dans un résultat préliminaire incite à ne pas répéter suffisamment les expériences et à s’enfoncer dans une théorie invérifiable. (Mais tous ces aspects sont bien pris en compte par la communauté scientifique et je peux assurer mon lecteur qu’elle est déjà au travail pour pallier ces lacunes).

Somme toute, la recherche possède son talon d’Achille. En revanche, le rôle joué par les éditeurs scientifiques et les organismes subventionnaires mérite qu’on s’y attarde un peu. Dans de nombreux cas, ces protagonistes agiraient comme catalyseur de cette crise et placeraient les scientifiques entre le fer et l’enclume.

 

Les contraintes politiques et la pression éditoriale

Ici encore Nature désigne les causes du malaise de façon claire. Lorsqu’on demande aux chercheurs « Quels facteurs jouent en faveur de la non-reproductibilité des résultats ? », plus de 60 % d’entre eux jugent que la pression qui leur est infligée pour publier est une des causes dans tous les cas, ou très souvent. D’après Judith Kimble, citée dans l’article de Monya Baker, la concurrence pour l’obtention des subventions, la gestion des conflits internes pour obtenir une promotion, combinées à la lourdeur bureaucratique liée aux demandes de fonds contribuent finalement à une perte de temps colossale qui détourne le chercheur de son rôle premier : chercher ! Chercher et également soutenir la relève, laquelle risque de faire pire une fois lâchée dans la nature.

On l’aura compris plus haut, les chercheurs explorent des méthodes et des outils d’analyse complémentaires pour rendre leurs recherches vérifiables et justes. Il n’en reste pas moins que les organismes qui les financent et les publient ne leur facilitent pas la tâche.

Le monde de l’édition a inventé une nouvelle méthode de « motivation » : certaines maisons d’édition communiquent aux chercheurs leur indice de productivité et les incitent à publier plus pour le bonifier ! Il y a deux mille ans, les scientifiques cherchaient seuls dans leur coin. Plus récemment ils se fédéraient massivement pour unir leurs forces et leurs talents. Sont-ils prêts aujourd’hui et surtout est-ce une bonne idée de les inclure dans un système basé sur la compétition et le jeu de la politique ?

Faire pression sur un artiste, c‘est l’inciter à créer un art sommaire, brouillon, très loin de ses réelles préoccupations. Faire pression sur un chercheur, c’est l’encourager à publier des résultats sommaires, fumeux et… non reproductibles. Serait-il alors opportun d’inviter le monde financier ainsi que les différentes sphères du pouvoir à s’intéresser plus à ce qui constitue l’essence profonde de l’esprit du scientifique. Car un chercheur qu’on incite à travailler avec rigueur, soucieux de publier avec honnêteté et libre d’entreprendre est probablement le seul garant de leurs intérêts à long terme.

 

Alors, est-ce grave, docteur ?!

Le monde scientifique vit manifestement une crise ! Mais il ne faut pas s’alarmer outre mesure. Quoiqu’on en pense, l’histoire nous montre que les hommes et les femmes de science ont su révéler des secrets toujours plus étonnants et se sont montrés capables de repousser toujours plus loin les limites de la connaissance. Voilà un point crucial qui devrait en rassurer plus d’un. Mentionnons par ailleurs l’existence de tout un réseau présent pour les soutenir, incluant notamment des associations bien établies telles que l’Acfas et des organismes subventionnaires comme les Fonds de Recherche du Québec.

Je réalise que le monde de la recherche s’est d’ores et déjà engagé dans de nouvelles discussions. Il repense ses méthodes pour éviter la publication de résultats non reproductibles, ceci en imaginant des systèmes de contrôle plus stricts de la qualité. Ce qui m’apparait encore une fois très rassurant. Pour permettre la mise en œuvre de ces mesures, encore faut-il qu’on donne des moyens financiers et du temps. Car il y a encore de gros progrès à faire pour inciter, entre autres, les éditeurs et les directions d’institutions savantes à minimiser la pression exercée sur les chercheurs. Protéger et renforcer cette liberté d’esprit et de créativité tout en leur laissant le temps de la rigueur pour leur permettre d’assurer le transfert des connaissances et des savoir-faire aux futurs chercheurs. Si des mesures ne sont pas prises en ce sens, attendons-nous à un affaiblissement du progrès scientifique et à l’installation massive de pensées pseudo-scientifiques qui parviendront à faire croire n’importe quoi à n’importe qui. Et à contribuer, en toute légitimité, à l’extinction progressive de la pensée critique populaire.