Negative Peer-Review / Évaluation négative par les pairs
Critique may hurt, but we can almost always learn from it / La critique peut blesser, mais nous pouvons presque toujours apprendre d'elle
La version française de ce texte figure ci-dessous
The peer-review process in academic publishing, despite all its imperfections and numerous critiques, is still a core part of the knowledge production process. Anchored in the Mertonian norm of “organized scepticism”, members of the research community with pertinent expertise are invited by journal or book editors to evaluate manuscripts for their contribution to knowledge and recommend their acceptability for publication.
Reviewers may be asked, for example, to identify strengths and weaknesses (in terms of rigour, coherence, methods, etc.) of the argument, study, or experiment, to comment on the manuscript’s novelty or contribution to a body of literature, to judge the pertinence of the referenced literature, and whether minor or major revisions should be requested. Peer-review contributes to advancing knowledge by being neutral and objective, critiquing the work not the author. A review should provide clear guidance to editors and authors on how to improve a text so that it can become publishable. But this is not always the case.
When we write we’re never simply objective, even if many academics think they are. We invest time, energy, and even passion to produce the best work possible. It’s normal that we want and expect it to be accepted, that others will share our enthusiasm. Even when we submit a paper knowing that it’s not yet perfect – because we ran out of time or couldn’t figure out how to make it better – and hope for constructive critique to make it better, it can still be hard not to take personally a negative review.
As a PhD student, my first experience with the peer-review process was far from the above-mentioned ideal situations. My manuscript, in which I’d invested months of work, which had been revised by my supervisor prior to submission, and of which I was very proud, got absolutely trashed by one of the peer-reviewers in a blind review process.
The reviewer wrote two pages single spaced of extremely detailed comments, something that I’ve only received on a few occasions during the subsequent 25 years. What was more remarkable, however, was the aggressive tone of the review. I’d clearly pissed off the reviewer, because while they didn’t use any vulgarity, the language was exceedingly hostile and often personal. The insults were thinly veiled with the message being “Your paper is shit! I wasted hours reading this garbage and then writing a review!” As you can imagine, I took it personally.
I’m no stranger to critique. Having grown up in an academic family, I had the advantage of being able to test my student writing with my father, a university professor, who would always return my drafts covered in red ink. At first this was extremely demoralizing and even the source of some father-son disagreements. But I got over it, because it wasn’t personal; the aim was to help me learn how to write well. I was thus prepared for critique by my Masters and PhD supervisors, because I’d internalized the view that my work was never perfect, it could always be improved. If I didn’t receive detailed corrections (in red ink or in Track changes) by one of my professors on a text that I’d written, I was disappointed because it meant that they’d not taken it seriously. My PhD supervisor jokingly noted that I had a “pathological ability to take critique”.
When I got the negative review of my first article submission, I gave myself 30min to yell and swear. Then I channelled my anger into a form of academic vengeance – get angry, then get even. “You don’t like it? Fine. But I will not let you win by convincing me to abandon the paper. I’m going to rework it, make it better, and get it published in a more prestigious journal. So there!”
I went through all the comments and coldly analyzed what went wrong. I copied the entire review into a separate document, deleted the personal comments, and then broke it into pieces so I could treat each point one by one. It took me another two years and four different submissions, but I finally published the paper in an excellent journal. What I learned during this process is that even in the face of a harsh critique and the rejection of a manuscript in which we’re invested, there is an opportunity for learning, improvement, and growth as an author.
Many years later, I had confirmed my early intuition that a “reject” or “major revisions required” was very often not due to fundamental flaws with the manuscript. Most often, the problem was, for example, that I’d been insufficiently clear in the Introduction about the objectives and limits of the paper, or that I’d glossed over certain complex aspects and had left “open doors” to questions that were not central to my argument. These structural weaknesses distracted or confused the reviewer by taking them in a direction that I’d not intended, which then biased the rest of their review.
A critique was thus a signal that the reviewer didn’t understand something, not because they were uninformed, but because I’d still not been sufficiently clear. And if the reviewer misunderstood, so too then would the readers of the eventual publication.
The response to negative critiques is often surprisingly simple.
Delete the text that distracts the reader, because it’s not pertinent, or move it to a footnote and then point to other specific literature on the topic.
In the Introduction, specifically state the objectives and limits of the paper. You cannot be critiqued for not doing what you explicitly say that you’re not going to do because it’s beyond the scope of your argument.
When asked for clarification, often all that’s required is a brief example (a few words or a sentence) and a reference.
Explicitly ask and then answer the questions raised the reviewer, directly in the text. If the reviewer wanted to know, so too would other readers.
The examples suggested by the reviewer, or questions meriting further exploration, are often exactly what’s needed to clarify your arguments: they’ve done the work for you, so use them!
Sometimes the problems are structural, because while the paper’s organization made sense to you, it doesn’t for the reader. You need to better explain how your argument will proceed in the Introduction or give frequent reminders throughout the text when the arguments are lengthy and complex. Alternatively, when you see the pertinence of the reviewer’s suggestion to reorganize parts or even all of the manuscript to help the arguments flow better, do so.
Other times, the problem is that you’re simply trying to do too much in one text. One of my PhD articles got rejected but with incredibly helpful (and lengthy) comments from the editor and peer-reviewers. While they’d found the text interesting, they noted that there were actually three distinct papers mixed together, which made it hard to follow and so confusing. They were right, and I subsequently published the text as two distinct articles and a book chapter. Sometimes “less is more” – it’s better to tell one clear and convincing story and save extraneous ideas for other publications.
Another problem is with finding the right audience, which I’ve experienced on numerous occasions. Bioethics being an interdisciplinary field, as researchers we’re not limited to publishing in a small set of specialist journals; we can and do regularly publish in humanities, social science, health policy or health science journals, for example. While liberating, because we can talk to a wide range of audiences, this can also be problematic when we do not know sufficiently well what would be of interest for a given audience.
The issue may not be with your paper as such, but instead it’s fit with the journal: the editor and reviewers simply don’t understand because the content is outside of or only tangentially connected to the journal’s focus and audience. I well remember a manuscript where major revisions were requested to contextualize the research problem. But to provide the necessary detail, I needed to add many pages of introductory material, basically a big part of a chapter of my PhD thesis, which I had no desire to do because I would have then had to cut other more important parts to stay within the word limit. I withdrew my paper, added a bit more context, and then found a specialized journal that was happy to publish my paper.
The point is that peer-review, even when it’s negative, can be constructive if you have the right mindset.
Reviews should be objective and never personal in tone, especially when they are negative. As a reviewer, I’ve become frustrated with poorly argued or badly structured manuscripts, and I’ve written reviews that were bitingly critical. But I then toned-down the language, adding suggestions for major restructuring or additional literature that needed to be considered, before returning my review. I’ve also written to editors when I felt that a text should not have been sent out for peer-review, because it was clearly not ready; and if I had more than one such experience with a journal, I then refused to do further reviews because the editors were not doing their job of filtering texts to ensure that they were sufficiently good to go out for review. Finally, editors should not forward overly-personal critiques to authors without at least sanitizing them and ideally should then solicit an additional review to provide a more balanced evaluation and thus inform their decision on whether to accept or reject the manuscript.
If your manuscript is accepted with revisions, build a detailed “response to reviewers” document where you itemize for yourself and the editor all the corrections made, the comments with which you disagreed (and why), and the reasons for your choices. If the text is rejected, you should still document and respond to the critiques because this will allow you to improve the text and even find inspiration for additional arguments or ways to better present your ideas.
I know people who couldn’t tolerate peer-review because it was experienced as a personal attack and so went to the core of their identity. They didn’t stay in academia.
Critique is part of the business of academic research and publication. Don’t get overly stressed by the negative peer-review or take it personally, even if it passes the bounds into a personal attack. Instead, take it for what it is, a source of information and an opportunity to improve your work on the journey towards publication.
Le processus d’évaluation par les pairs dans l’édition universitaire, malgré toutes ses imperfections et ses nombreuses critiques, reste un élément essentiel du processus de production des connaissances. Ancrés dans la norme mertonienne du « scepticisme organisé », les membres de la communauté des chercheurs possédant une expertise pertinente sont invités par les éditeurs de revues ou d’ouvrages à évaluer les manuscrits en fonction de leur contribution à la connaissance et à recommander (ou non) leur acceptabilité pour publication.
Il peut être demandé aux évaluateurs, par exemple, d’identifier les forces et les faiblesses (en termes de rigueur, de cohérence, de méthodes, etc.) de l’argument, de l’étude ou de l’expérience, de commenter la nouveauté du manuscrit ou sa contribution à un corpus de littérature, de juger de la pertinence de la littérature citée en référence et de déterminer si des révisions mineures ou majeures doivent être demandées. L’évaluation par les pairs contribue à faire progresser les connaissances en étant neutre et objective, en critiquant le travail et non l’auteur. Une évaluation devrait fournir des conseils clairs aux éditeurs et aux auteurs sur la manière d’améliorer un texte afin qu’il devienne publiable. Mais ce n’est pas toujours le cas.
Lorsque nous écrivons, nous ne sommes jamais simplement objectifs, même si de nombreux universitaires pensent l’être. Nous investissons du temps, de l’énergie et même de la passion pour produire le meilleur travail possible. Il est normal que nous voulions et attendions qu’il soit accepté, que d’autres partagent notre enthousiasme. Même lorsque nous soumettons un article en sachant qu’il n’est pas encore parfait – parce que nous avons manqué de temps ou que nous n’avons pas trouvé le moyen de l’améliorer – et que nous espérons une critique constructive pour l’améliorer, il peut être difficile de ne pas prendre personnellement une évaluation négative.
Comme étudiant de doctorat, ma première expérience du processus d’évaluation par les pairs était loin des situations idéales susmentionnées. Mon manuscrit, dans lequel j’avais investi des mois de travail, qui avait été révisé par mon directeur avant d’être soumis et dont j’étais très fier, a été complètement saccagé par l’un des évaluateurs dans le cadre d’un processus d’évaluation à l’aveugle.
L’évaluateur a écrit deux pages, à simple interligne, de commentaires extrêmement détaillés, ce que je n’ai reçu qu’à quelques occasions au cours des 25 années qui ont suivi. Ce qui était plus remarquable, cependant, c’était le ton agressif de l’évaluation. J’avais manifestement énervé l’évaluateur, car, bien qu’il n’ait pas utilisé de vulgarité, le langage était extrêmement hostile et souvent personnel. Les insultes étaient à peine voilées et le message était le suivant : « Votre article est merdique! J’ai perdu des heures à le lire et à rédiger une critique! » Comme vous pouvez l’imaginer, je l’ai pris personnellement.
La critique ne m’est pas étrangère. Ayant grandi dans une famille d’universitaires, j’ai eu l’avantage de pouvoir tester mes écrits d’étudiant auprès de mon père, professeur d’université, qui me rendait toujours mes brouillons couverts d’encre rouge. Au début, c’était extrêmement démoralisant et même la source de quelques désaccords père-fils. Mais je m’en suis remis, car ce n’était pas personnel : le but était de m’aider à apprendre à bien écrire. J’étais donc bien préparé à la critique de mes directeurs de maîtrise et de doctorat, car j’avais intériorisé l’idée que mon travail n’était jamais parfait, qu’il pouvait toujours être amélioré. Si je ne recevais pas de corrections détaillées (à l’encre rouge ou dans le suivi des modifications) de la part d’un de mes professeurs sur un texte que j’avais écrit, j’étais déçu, car cela signifiait qu’il ne l’avait pas pris au sérieux. Mon directeur de thèse a noté en plaisantant que j’avais une « capacité pathologique à accepter la critique ».
Lorsque j’ai reçu la critique négative de mon premier article, je me suis donné 30 minutes pour hurler et jurer. J’ai ensuite canalisé ma colère dans une forme de vengeance académique : me mettre en colère, puis me venger. « Vous n’aimez pas? Très bien. Mais je ne vous laisserai pas gagner en me convainquant d’abandonner l’article. Je vais le retravailler, l’améliorer et le faire publier dans une revue plus prestigieuse. Voilà! »
J’ai passé en revue tous les commentaires et j’ai analysé froidement ce qui n’allait pas. J’ai copié l’ensemble de l’évaluation dans un document séparé, j’ai supprimé les commentaires personnels et je l’ai divisée en plusieurs parties afin de pouvoir traiter chaque point un par un. Il m’a fallu encore deux ans et quatre soumissions différentes, mais j’ai finalement publié l’article dans une excellente revue. Ce que j’ai appris au cours de ce processus, c’est que, même face à une critique sévère et au rejet d’un manuscrit dans lequel nous nous sommes investis, il est possible d’apprendre, de s’améliorer et de grandir en tant qu’auteur.
Bien des années plus tard, j’ai confirmé mon intuition première, à savoir qu’un « rejet » ou une « révision majeure nécessaire » n’étaient souvent pas dus à des défauts fondamentaux du manuscrit. Le plus souvent, le problème était, par exemple, que je n’avais pas été suffisamment clair dans l’introduction sur les objectifs et les limites de l’article, ou que j’avais passé sous silence certains aspects complexes et laissé des « portes ouvertes » à des questions qui n’étaient pas au cœur de mon argumentation. Ces faiblesses structurelles ont distrait ou dérouté l’évaluateur en l’orientant dans une direction que je n’avais pas prévue, ce qui a ensuite biaisé le reste de son évaluation.
Une critique était donc un signal que l’évaluateur n’avait pas compris quelque chose, non pas parce qu’il était mal informé, mais parce que je n’avais pas été suffisamment clair. Et si l’évaluateur n’avait pas compris, les lecteurs de l’éventuelle publication en feraient de même.
La réponse aux critiques négatives est souvent étonnamment simple.
Supprimez le texte qui distrait le lecteur, car il n’est pas pertinent, ou déplacez-le dans une note de bas de page, puis renvoyez à d’autres documents spécifiques sur le sujet.
Dans l’introduction, indiquez spécifiquement les objectifs et les limites du texte. Vous ne pouvez pas être critiqué pour ne pas avoir fait ce que vous avez explicitement dit que vous n’alliez pas faire parce que cela dépasse la portée de votre argument.
Lorsqu’on vous demande des précisions, il suffit souvent d’un bref exemple (quelques mots ou une phrase) et d’une référence.
Posez explicitement les questions soulevées par l’évaluateur, puis répondez-y, directement dans le texte. Si l’évaluateur voulait savoir, les autres lecteurs le voudraient aussi.
Les exemples suggérés par l’évaluateur, ou les questions méritant d’être approfondies sont souvent exactement ce qu’il faut pour clarifier vos arguments : ils ont fait le travail pour vous, alors utilisez-les!
Parfois, les problèmes sont d’ordre structurel car, si l’organisation du document est logique pour vous, elle ne l’est pas pour le lecteur. Vous devez mieux expliquer le déroulement de votre argumentation dans l’introduction, ou faire des rappels fréquents tout au long du texte lorsque les arguments sont longs et complexes. Par ailleurs, lorsque vous constatez la pertinence de la suggestion de l’évaluateur de réorganiser certaines parties, voire l’ensemble du manuscrit, afin d’améliorer la fluidité de l’argumentation, faites-le.
Dans d’autres cas, le problème réside dans le fait que vous essayez simplement d’en faire trop dans un seul texte. Un de mes articles de doctorat a été rejeté, mais avec des commentaires incroyablement utiles (et longs) de la part de l’éditeur et les évaluateurs. Bien qu’ils aient trouvé le texte intéressant, ils ont noté qu’il y avait en fait trois articles distincts mélangés, ce qui le rendait difficile à suivre et donc confus. Ils avaient raison, et j’ai ensuite publié le texte sous la forme de deux articles distincts et d’un chapitre de livre. Parfois, « moins, c’est mieux » – il faut raconter une histoire claire et convaincante, et garder les idées superflues pour d’autres publications.
Un autre problème consiste à trouver le bon public, ce dont j’ai fait l’expérience à de nombreuses reprises. La bioéthique étant un domaine interdisciplinaire, en tant que chercheurs, nous ne sommes pas limités à publier dans un petit nombre de revues spécialisées; nous pouvons publier et publions régulièrement dans des revues de sciences humaines et sociales, de politique de santé ou de sciences de la santé, par exemple. Bien que cela soit libérateur, car nous pouvons nous adresser à un large éventail de publics, cela peut également être problématique lorsque nous ne savons pas suffisamment bien ce qui pourrait intéresser un public donné.
Le problème n’est peut-être pas lié à votre article en tant que tel, mais plutôt à la revue : l’éditeur en chef et les évaluateurs ne comprennent tout simplement pas parce que le contenu n’est pas lié, ou seulement de manière indirecte, à l’objectif et à l’audience de la revue. Je me souviens très bien d’un manuscrit pour lequel des révisions importantes ont été demandées afin de contextualiser le problème de recherche. Mais pour fournir les détails nécessaires, je devais ajouter de nombreuses pages d’introduction, soit une grande partie d’un chapitre de ma thèse de doctorat, ce que je n’avais aucune envie de faire, car j’aurais alors dû supprimer d’autres parties plus importantes pour rester dans la limite du nombre de mots. J’ai retiré mon article, j’ai ajouté un peu plus de contexte, puis j’ai trouvé une revue spécialisée qui a été heureuse de publier mon article.
Ce qu’il faut retenir, c’est que l’évaluation par les pairs, même lorsqu’elle est négative, peut être constructive si vous avez le bon état d’esprit.
Les évaluations doivent être objectives et ne jamais avoir un ton personnel, surtout lorsqu’elles sont négatives. En tant qu’évaluateur, j’ai été frustré par des manuscrits mal argumentés ou mal structurés, et j’ai écrit des évaluations qui étaient mordantes. Mais j’ai ensuite atténué le langage, en ajoutant des suggestions de restructuration majeure ou des documents supplémentaires à prendre en compte, avant de renvoyer mon évaluation. J’ai également écrit aux éditeurs lorsque j’estimais qu’un texte n’aurait pas dû être soumis à une évaluation par les pairs, car il n’était manifestement pas prêt; et si j’ai eu plusieurs expériences de ce type avec une revue, j’ai alors refusé d’effectuer d’autres évaluations parce que les éditeurs ne faisaient pas leur travail de filtrage des textes pour s’assurer qu’ils étaient suffisamment bons pour être soumis à l’évaluation. Enfin, les éditeurs ne devraient pas transmettre aux auteurs des critiques trop personnelles sans les avoir au moins aseptisées et, dans l’idéal, ils devraient alors solliciter une révision supplémentaire afin d’obtenir une évaluation plus équilibrée et d’éclairer ainsi leur décision d’accepter ou de rejeter le manuscrit.
Si votre manuscrit est accepté avec des révisions, rédigez un document détaillé de « réponse aux évaluateurs » dans lequel vous détaillerez, pour vous-même et pour l’éditeur, toutes les corrections apportées, les commentaires avec lesquels vous n’êtes pas d’accord (et pourquoi), et les raisons de vos choix. Si le texte est rejeté, vous devez tout de même documenter les critiques et y répondre, car cela vous permettra d’améliorer le texte et même de trouver l’inspiration pour des arguments supplémentaires ou des façons de mieux présenter vos idées.
Je connais des personnes qui ne supportaient pas l’évaluation par les pairs parce qu’elle était vécue comme une attaque personnelle et touchait donc au cœur de leur identité. Ils ne sont pas restés dans le monde universitaire.
La critique fait partie de l’activité de recherche et de publication universitaires. Ne vous sentez pas trop stressé par une évaluation négative par les pairs et ne la prenez pas personnellement, même si elle dépasse les limites de l’attaque personnelle. Prenez-la plutôt pour ce qu’elle est : une source d’information et une occasion d’améliorer votre travail sur la voie de la publication.