Évaluation post-publication par les pairs et identification des problèmes méthodologiques et de reporting des essais sur la COVID-19
Dans une étude récente dirigée par Mauricia Davidson (CRESS-METHODS) et publiée dans BMJ Evidence-Based Medicine, les chercheurs ont cherché à examiner dans quelle mesure les examinateurs systématiques et l’évaluation par les pairs après publication identifient les problèmes méthodologiques et de reporting dans les essais cliniques sur la COVID-19. L’étude s’est concentrée sur les essais contrôlés randomisés (ECR) évaluant les traitements pharmacologiques contre la COVID-19 et a analysé la fréquence à laquelle ces problèmes étaient détectés—et s’ils pouvaient être facilement résolus par les auteurs des essais.
L’étude a utilisé les données de la revue systématique vivante COVID-NMA (covid-nma.com), ainsi que des commentaires sur des plateformes de preprints telles que medRxiv, Research Square et SSRN, ainsi que sur PubPeer, une plateforme d’évaluation post-publication. En appliquant une analyse qualitative de contenu, Davidson et al. ont identifié des thèmes et des catégories de problèmes méthodologiques et de reporting dans ces essais.
Les chercheurs ont trouvé que les examinateurs systématiques ont identifié des problèmes méthodologiques et de reporting dans 446 des 500 ECR analysés (89 %). Dans 391 essais (78 %), ces problèmes auraient pu être facilement corrigés par les auteurs, notamment des rapports incomplets (49 %), la sélection des résultats rapportés (52 %) et l’absence d’accès à un plan pré-spécifié (25 %). Ces résultats montrent que les examinateurs systématiques, sans modifier leur processus habituel, détectent déjà des lacunes essentielles qui pourraient être corrigées par les auteurs.
Cependant, malgré son potentiel en tant que mécanisme de contrôle qualité, seulement 74 ECRs (15 %) avaient reçu au moins un commentaire sur PubPeer ou les serveurs de preprint, pour un total de 348 commentaires, et seulement 46 essais (9 %) avaient reçu des commentaires abordant des problèmes qui auraient pu être facilement résolus par les auteurs. Il s’agissait des rapports incomplets (6 %), des erreurs (5 %), des défauts d’analyse statistique (3 %), des incohérences dans les méthodes et analyses rapportées (2 %), de la « spin » (2 %), la sélection des résultats rapportés (1 %) et l’absence d’accès aux données brutes ou aux plans pré-spécifiés (1 %).
Davidson et al. concluent que, bien que les examinateurs systématiques jouent un rôle essentiel dans l’identification des problèmes méthodologiques et de reporting, l’absence d’un mécanisme de retour d’information formel entre eux et les auteurs des essais représente une opportunité manquée pour améliorer la qualité de la recherche. L’étude met en avant la nécessité d’une collaboration directe entre examinateurs systématiques et auteurs d’essais afin de compléter l’évaluation traditionnelle par les pairs et de garantir un reporting scientifique rigoureux.
En outre, l’étude souligne la nécessité de favoriser une culture au sein de la communauté scientifique qui valorise l’évaluation par les pairs après publication. Malgré son potentiel en tant que mécanisme de retour d’information, cette évaluation reste sous-utilisée et relativement inefficace pour identifier les lacunes critiques de la recherche.
Les conclusions de cette étude offrent des perspectives précieuses sur l’évolution nécessaire du système de recherche pour mieux soutenir la transparence et l’amélioration continue du reporting des essais, garantissant ainsi que des preuves de haute qualité parviennent à tous les acteurs concernés.
- Davidson M, Korfitsen CB, Riveros C, Chaimani A, Boutron I. Post-publication peer review and the identification of methodological and reporting issues in COVID-19 trials: a qualitative study. BMJ Evidence-based Medicine. 2025 Feb 20; https://doi.org/10.1136/bmjebm-2024-113068
Par Mauricia Davidson
