Évolution de la révision par les pairs
Selon une étude de Publons publiée en 2018, dans 61.83% des cas, le contenu des révisions n’est pas publié et les noms des relecteurs ne sont pas mentionnés. Seul 1.62% des publications publient les commentaires des relecteurs en donnant leur nom.
Dans son article What is open review ? A systematic review, Tony Ross-Hellauer souligne que, bien que la révision par les pairs soit le garant d’une science de qualité, elle doit cependant faire face à plusieurs problèmes :
- manque de fiabilité dû à la subjectivité de l’esprit humain
- délais qui ralentissent la mise à disposition des résultats scientifiques
- coût du temps alloué à la relecture
- manque de responsabilité et risques de subversion : toute puissance des éditeurs, favoritisme, conflits d’intérêts, vol d’idées…
- biais
- manque, voire absence de valorisation
- aucun apprentissage de l’évaluation par les jeunes chercheurs
Alors que le volume d’articles à évaluer ne cesse de croître, il devient de plus en plus difficile de trouver des évaluateurs, comme le souligne l’étude de Publons.
De nouveaux systèmes d’évaluation émergent, proposant des alternatives à l’évaluation classique en simple ou double aveugle, principalement dans le domaine de l’évaluation ouverte : les identités des auteurs et des relecteurs sont connues, les commentaires sont publics. De plus, l’intégralité de la communauté scientifique peut être invitée à intervenir : les relecteurs ne sont parfois pas choisis par l’éditeur.
Open peer review
La publication des commentaires des relecteurs s’inscrit dans une démarche de relecture par les pairs ouverte ou open peer review. Tony Ross-Hellauer dénombre sept formes d’open peer review :
- Identités ouvertes : les identités des auteurs et des évaluateurs sont divulguées. PeerJ, par exemple, propose aux relecteurs de signer leurs commentaires. Les échanges publiés montrent que certains relecteurs signent leurs commentaires et échangent à visage découvert avec les auteurs.
- Rapports ouverts : les rapports sont publiés en même temps que l’article. C’est le cas de la revue eLife science par exemple, qui intègre les commentaires des relecteurs dans l’HTML et dans le PDF de l’article.
- Participation ouverte : la communauté élargie peut contribuer au processus de révision. Les journaux scientifiques de Wikipedia s’appuient sur cette forme de relecture, par exemple le Wikijournal of Science.
- Interaction ouverte : Les discussions directes entre les auteurs, les éditeurs et les évaluateurs sont encouragées.
- Examen ouvert par les pairs des prépublications : L’examen des prépublications (par exemple sur les serveurs de prépublications) est possible avant l’examen formel par les pairs. C’est le cas, par exemple, sur le site de PREreview, preLights ou encore Review Commons.
- Commentaires après publication : Les lecteurs peuvent faire des commentaires et les auteurs/autres lecteurs répondent après la publication. Scipost, outre le fait de mettre des soumissions à dispositions de relecteurs volontaires, propose ensuite un service de commentaires post-publication.
- Plateformes ouvertes : la relecture est facilitée par une entité organisationnelle différente de l’éditeur.
Nous pouvons aussi citer cette solution :
- Enregistrement des rapports d’évaluation dans le Web of Science, et ce même si la revue n’est pas indexée dans le Web of Science. Par exemple : https://www.webofscience.com/wos/review-content
Une solution possible : publication des rapports d’évaluation
De nombreuses idées sont à l’étude pour valoriser le travail des relecteurs. La plus employée et la mise en ligne des rapports d’évaluation signés.
Ainsi, de plus en plus de revues proposent aux relecteurs de signer et publier leurs commentaires. Les rapports d’évaluation sont ainsi publiés à côté des articles, intégrant les réponses des auteurs. Sont ainsi mis à jour tout l’historique et le cheminement scientifique qui ont abouti à la publication de l’article.
Cette pratique a plusieurs avantages :
- Pratique pédagogique. Les jeunes chercheurs ont parfois du mal à publier leurs travaux par manque de connaissance des règles d’écriture et des attentes des relecteurs. Publier les rapports des relecteurs permet ainsi aux chercheurs de connaître les règles et d’adapter leur niveau d’écriture.
- Transparence et responsabilité accrues. La publication des commentaires signés permet de limiter les risques de conflits d’intérêts.
- Enrichissement du débat scientifique. La publication des rapports permet une mise en lumière des remarques intéressantes qui ne sont parfois pas intégrées à l’article final.
- Qualité des évaluations. Les relecteurs deviennent publiquement responsables de leurs écrits, ce qui évite les relectures expéditives et améliore la qualité des retours aux auteurs. A contrario, cela peut aussi décourager les critiques sévères et encourager les relecteurs à émettre des avis moins tranchés face à un article de qualité moindre ou face à un chercheur de renom (Ross-Hellauer, 2017)
- Valorisation du relecteur. L’évaluation est une tâche difficile, qui prend du temps, et n’offre que très peu de reconnaissance. La publication des échanges avec les auteurs met en exergue le processus, parfois très long mais invisible, qui précède la mise en ligne d’un article. La publication signée des rapports offre la possibilité aux relecteurs de mettre en valeur ce travail.
- 2018 Global state of peer review
- Évaluation ouverte par les pairs : polysémie et problématiques
- Open Peer Review
- Open peer review: promoting transparency in open science
- What is open peer review? A systematic review
- La conversation scientifique ouverte
- Open Reviewer Identities: Full Steam Ahead or Proceed with Caution?
Nous suivre sur Mastodon : 
Abonnez-vous à notre newsletter