La Direction de l’Information Scientifique et technique du CNRS définit ainsi l’évaluation par les pairs : « L’évaluation par les pairs désigne la validation d’un article par un comité de lecture composé de scientifiques, experts dans le même champ disciplinaire que le contenu de l’article. Ce processus est destiné à lui assurer une qualité scientifique ». Ce processus est généralement bien connu de tous. Cependant, comment le mettre en place au sein de sa propre revue ? Quel est son fonctionnement ? En pratique, quel est le travail d’un relecteur ? Quelles sont les compétences attendues d’un relecteur ?
Fonctionnement
Le travail de relecture est une étape incontournable dans l’édition scientifique si l’on veut intégrer les plateformes de diffusion. Dans son « Quick Guide » intitulé How to review manuscripts, Elsevier souligne l’importance de la révision par les pairs. En effet, celle-ci est essentielle parce qu’elle permet de garantir la qualité des articles publiés, assoit la reconnaissance des travaux antérieurs. L’évaluation permet aussi de détecter les tentatives de plagiat et la fraude intellectuelle.
Les rôles
Relecteur ou évaluateur : le relecteur est la personne qui évalue la qualité scientifique des articles. Il commente et donne un avis sur l’acceptation ou le refus de publier un article.
Auteur : il s’agit de l’auteur de l’article (ou l’auteur principal), celui qui propose l’article à la revue.
Comité éditorial : il décide de la politique éditoriale et assure toutes les tâches liées au bon fonctionnement de la revue.
Comité scientifique : il a un rôle consultatif. Il est composé de spécialistes des domaines couverts par la revue et propose des orientations scientifiques pour la revue.
Le processus
Le processus de révision suit plusieurs étapes :
Version PDF accessible du schéma.
Les types de révision par les pairs
Il existe plusieurs types de révision par les pairs. Les plus courants sont les suivants :
- simple-aveugle,
- double-aveugle,
- triple-aveugle
- identités ouvertes.
Publons, l’outil de suivi de publications scientifiques de Clarivate, présente ainsi les différents types de révision par les pairs, en précisant bien que cette liste n’est pas exhaustive (voir illustration ci-contre) :
L’évaluation en pratique
Choix des évaluateurs
C’est à l’éditeur de choisir ses évaluateurs.
Cécile Fovet-Rabot, dans son article Réviser un article scientifique en 6 points, indique que : « Pour chaque article, le comité éditorial choisit 2 ou 3 relecteurs scientifiques spécialistes parmi les auteurs du journal, ses propres réseaux scientifiques et la liste de relecteurs fournie par les auteurs de l’article à évaluer ». Mais attention : un relecteur pressenti a le droit de refuser par manque de temps, par manque d’expertise, pour cause de conflit d’intérêt… Il semble que les éditeurs aient à faire face à un nombre de plus en plus important de refus, comme le souligne Publons : « In 2013, an editor had to invite an average of 1.9 reviewers to get one review done. By the end of 2017, this had increased to an average of 2.4 invitations for every completed review. If this trend continues, by 2025, an average of 3.6 invitations will be required to complete a single review ».
Qualités de l’évaluateur
Dans leur ABC de la révision par les pairs, Eva Charlebois, Louise Mallet et Julie Méhot listent les qualités des réviseurs : expertise scientifique, respect des échéanciers, absence de conflits d’intérêts, motivation et attitude respectueuse. Les commentaires du relecteur doivent être respectueux, constructifs, et doivent se limiter à l’aspect strictement scientifique du texte évalué. Les commentaires doivent permettre de préciser une idée, de clarifier et d’améliorer la qualité de la production scientifique.
Le relecteur semble souvent vu comme un obstacle par les auteurs. Bien que la grande majorité des évaluateurs ait un comportement professionnel, certaines dérives ont été observées. Ainsi, comme l’indiquent Andreas F. Mavrogenis, Andrew Quaile et Marius M. Scarlat dans leur article The good, the bad and the rude peer-review : « A rude peer-review is unfair and biased for reasons unrelated to the quality of the manuscript such as the nationality, gender, English language criticism, opposite theory or conflicts of interest ». Pour lutter contre ces comportements, les éditeurs mettent en place des conseils à destination des relecteurs.
Critères d’évaluation
Les critères des revues
Les revues rédigent parfois des bonnes pratiques d’évaluation, proposées au relecteur sous forme de grille. Ces bonnes pratiques ont pour fonction d’encadrer la relecture par des critères précis, que l’on peut argumenter : la qualité de la langue, le respect de la méthodologie, la pertinence des figures, l’originalité du contenu…
Cette grille d’évaluation comporte aussi un espace où le réviseur donne son avis sur la publication : accepté tel quel, accepté avec modifications (majeures ou mineures), refusé.
Voici quelques exemples de critères d’évaluation à l’usage des relecteurs :
Open Reviewers Toolkit
La plateforme américaine PREreview a mis en ligne en accès libre un Open Reviewers Toolkit qui propose 3 guides (Bias Reflection Guide, Reviewer Guide et Review Assessment Rubric) afin d’améliorer le travail des évaluateurs de revues scientifiques.
Évolution de la révision par les pairs
Alors que le volume d’articles à évaluer ne cesse de croître, il devient de plus en plus difficile de trouver des évaluateurs, comme le souligne l’étude de Publons. De nouveaux systèmes d’évaluation émergent, proposant des alternatives à l’évaluation classique en simple ou double aveugle, principalement dans le domaine de l’évaluation ouverte : les identités des auteurs et des relecteurs sont connues, les commentaires sont publics. De plus, l’intégralité de la communauté scientifique est invitée à intervenir : les relecteurs ne sont pas choisis par l’éditeur.
Peer Community in
Peer Community in est une base de prépublications fondée sur un système de recommandations d’articles. Les auteurs déposent tout d’abord leur article sur une archive ouverte. Ils soumettent ensuite leur article dans la thématique correspondante sur le site de PCI. Le processus d’évaluation par les pairs peut alors commencer, de manière anonyme ou non. Une discussion s’engage entre les relecteurs et l’auteur. Si l’article est accepté, la version recommandée apparaîtra sur le site de PCI accompagnée de l’ensemble des évaluations et du texte de la recommandation. Les auteurs peuvent alors le publier dans Peer Community Journal, dans l’une des revues partenaires de PCI ou dans la revue de leur choix.
Révision des prépublications sur les archives ouvertes
BioRxiv, archive ouverte en biologie, autorise les commentaires des lecteurs : « Readers may add public comments to articles on bioRxiv. Comments are moderated to ensure they conform to the standards of normal professional discourse. Readers are also free to contact authors directly ». En effet, depuis 2019, BioRxiv s’est engagé dans le projet TRIP, Transparent Review in Preprints et propose de nouveaux boutons sous chaque préprublication, permettant de commenter :
Un clic sur cette ligne permet de lire les commentaires de lecteurs, les relectures des évaluateurs du projet TRIP, les discussions en ligne au sujet de l’article, les évaluations automatiques, les liens externes et les tweets mentionnant l’article.
Généralités :
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4975196/
Outils pour les relecteurs (grilles d’analyse, conseils, etc.) :
https://content.prereview.org/open-reviewers-toolkit-is-now-openly-available/
https://www.cairn.info/revue-systemes-d-information-et-management-2017-4-page-3.htm
https://www.quebecscience.qc.ca/edito/revision-pairs-courtoisie/
https://coop-ist.cirad.fr/evaluer/etre-relecteur/1-accepter-ou-refuser-d-evaluer-un-article
Évaluation ouverte :
Nous suivre sur Mastodon : 
Abonnez-vous à notre newsletter