polotopar Claire Madl

Les chercheurs et les professionnels de la recherche savent bien que l’édition scientifique est aujourd’hui aux prises avec les contradictions suscitées d’un côté par les faibles coûts, la rapidité de production et la diffusion inégalée des publications électroniques en libre accès, de l’autre par un système d’évaluation de la recherche fondé majoritairement sur l’exclusivisme de revues d’éditeurs prestigieux aux coûts d’abonnement exagérés. Ce conflit était le sujet du colloque organisé par l’Université fédérale de Toulouse les 13 et 14 octobre derniers, rassemblant des éditeurs, des responsables d’organismes d’évaluation de la recherche et des chercheurs aussi bien en sciences « exactes » que sociales et humaines : Open Access et évaluation de la recherche : vers un nouvel écosystème.

Les gouvernements se prononcent de plus en plus en faveur de la publication en libre accès des résultats de la recherche publique et dénoncent à la fois les marges élevées des éditeurs commerciaux réalisées grâce aux résultats d’une recherche financée majoritairement par des fonds publics et les coûts croissants des abonnements aux plateformes d’indexation ou de publication de la recherche qui grèvent les budgets des bibliothèques universitaires et des centres de recherche.

Quinze ans après les déclarations en faveur du libre accès (Déclaration de Budapest, en 2002, et Déclaration de Berlin en 2003), les chercheurs demeurent néanmoins réticents à donner systématiquement la préférence aux solutions « Open Access », étant évalués avec plus ou moins de rigidité selon des critères bibliométriques aux mains d’une poignée d’acteurs et d’une minorité de revues – on évalue à 20 % la proportion de revues scientifiques disposant d’un « facteur d’impact » sur le Web of Sciences de Thomson Reuters. L’enjeu déclaré par les organisateur du colloque est donc bien de prendre en main la circulation de l’information scientifique artificiellement contrainte.

La conférence a permis de faire un état des lieux des antagonismes et de présenter des  recommandations officielles et des expériences innovantes pour concilier libre accès et exigences de l’évaluation scientifique.

OPEN ACCESS

Le domaine de la publication scientifique en libre accès ou Open Access est depuis une dizaine d’années structuré en quatre grandes sphères qui ont été présentées par les deux « grands témoins » de ces journées : Jean Claude Guédon (Université de Montréal) et Marin Dacos (directeur d’Open Edition). Se distingue d’une part l’Open Access dit « vert » : les archives ouvertes qui fonctionnent souvent sous la tutelle des institutions de la recherche qu’elles soient réservées à leurs membres ou non (par exemple : Arxiv, HAL en France,  Max Planck Publication Repository en Allemagne, Repozitář AV ČR en République tchèque – ce dernier offrant toutefois très peu d’articles en libre accès). Les responsables des dépôts dans HAL étaient particulièrement présents au colloque et témoignaient du succès des campagnes incitatives aux dépôts, lancées d’abord en sciences humaines, et plus tardivement (vers 2008), dans les unités des autres disciplines scientifiques.

La « voie royale » de la publication scientifique en libre accès est celle dite de l’ « Open Access gold » qui rassemble des revues souvent éditées sous format électronique structuré (et non de simples fichiers pdf) très visibles sur internet et dont les frais de publication (article-processing charge ou APC) sont pris en charge par les institutions de recherche, en amont de la publication selon différents modèles financiers. Les chiffres de consultations et téléchargements  montrent le potentiel de diffusion de telles solutions.  Souvent développées en parallèle à des formes payantes, elles témoignent de la recherche de modèles économiques durables pour ces transferts de coûts et de revenus (voir l’emploi de la notion d’ « offsetting »[1] ou les objectifs du Consortion for Open Access Publishing in Particle Physics). Les publications en libre accès sont en outre susceptibles d’avoir une plus grande diffusion dans les sociétés puisque accessibles aux mass-médias – Marin Dacos rapportait l’observation de l’utilisation des articles de la plateforme Hypothèses.org au lendemain des attentats de janvier 2015 en France. L’Open Access répond donc bien à certains des objectifs primordiaux de la recherche scientifique.

Les publications Open Access, qui représenteraient aujourd’hui 13 % des publications scientifiques, sont servies par des moteurs de recherche de plus en plus performants qui ont par exemple permis de développer l’attribution d’identifiants des publications électroniques en libre accès ou DOAI gratuits systématiquement associés aux DOI. La visibilité des articles en libre accès est désormais mesurable et évaluée à 30 fois supérieure à celle des publications payantes. Des modèles économiques souples et variés (gratuité, barrière mobile, paiement à l’article, au chapitre, abonnement, services premium aux bibliothèques) sont en plein essor. Ce phénomène entraîne une baisse du nombre de télédéchargements des revues payantes, constatée par exemple par ScienceDirect de l’éditeur Elsevier à partir de 2008.  Aussi, même les revues les plus prestigieuses mettent-elles en place des politiques de publication en libre accès mais bien souvent la facturation des APC y est supérieures aux coûts constatés ailleurs, dans un manque de transparence aujourd’hui critiqué[1]. Ne s’accompagnant pas d’une suppression des frais d’abonnement, le système a été caractérisé de « double-dipping »[2].

La lenteur du processus de publication scientifique traditionnel et l’attrait que présentent les technologies des réseaux sociaux pour le travail des chercheurs ont donné naissance au dernier modèle de publication scientifique en libre accès : les chargements d’articles sur des réseaux sociaux permettant de partager les résultats de la recherche de façon instantanée et « libre », mais sans évaluation. Les algorithmes performants de ces plateformes, qui permettent de repérer des spécialistes, d’agréger et de visualiser des communautés, des spécialités, et des problématiques nouvelles, font d’eux des partenaires indispensables, voire des proies faciles pour les éditeurs. Le rachat par Elsevier de deux gros réseaux (Mendeley et Social Science Reseach Network) a ainsi refroidi les enthousiasmes et rappelé que les articles que chacun dépose sont bel et bien mis à la disposition de l’organisme gérant le réseau et susceptibles de transactions marchandes qui échappent aux auteurs et aux organismes qui les financent.

ÉVALUATION

Les représentants des organismes d’évaluations qui étaient invités – Bernard RENTIER (Conseil fédéral belge de la politique scientifique), Ben JOHNSON (Higher Education Funding Council for England, HEFCE), dont la contribution était lue, Pierre GLAUDES (Haut conseil à l’évaluation de la recherche HCERES), Jean-Paul DEROIN (Commission permanente du Conseil national des universités CNU) – ont tous confirmé à la fois l’accord de principe aux bienfaits du libre accès et, dans la pratique, le crédit accordé par les évaluateurs au prestige des revues et des éditeurs chez lesquels les travaux sont publiés. Les politiques sont variées, à l’image du système britannique puisque le Research Council britannique soutient le libre accès en subventionnant le paiement des APC aux éditeurs tandis que l’Education Funding Council cherche à soutenir le dépôt institutionnel. Il est clair néanmoins que les organismes d’évaluation envisagent d’utiliser les archives institutionnelles ouvertes lors des évaluations afin de parvenir à une généralisation des dépôts.

Le fameux « facteur d’impact » était en revanche généralement critiqué par les évaluateurs invités pour la collusion qu’il a induite entre le prestige « symbolique » et la valeur financière des produits éditoriaux qu’il concerne (J.-C. Guédon). Il a en outre été désormais prouvé qu’il était manipulable et que les revues tiraient parti d’une minorité d’articles recueillant un grand nombre de citations. Avec ses trois décimales, il fut finalement qualifié de « hautement comique » (J.-C. Guédon). L’index Harzing subissait le même sort. On était loin à Toulouse des éloges que le facteur d’impact a pu recevoir en tant qu’« instrument très économique et élégant »[3].

La politique du Web of sciences, qui ne prendrait en compte que 20 % des publications scientifiques, a par exemple été critiquée pour régler la question des publications non anglophones en offrant des sous-sections dédiées (comme c’est le cas pour les publications d’Amérique du Sud et comme cela a été proposé au domaine francophone) plutôt que d’ouvrir le système anglophone (Marin Dacos, CLEO).

Les évaluateurs en sciences exactes concèdent néanmoins à l’évaluation chiffrée de pallier l’hyperspécialisation de certains domaines qui empêchent les évaluateurs de travailler sur le fonds (la médecine semblait à Michel Pohl, INSERM, particulièrement concernée).

Au final, c’est le recentrage des évaluations sur le contenu même des publications des chercheurs qui est recommandé, malgré la lourdeur du travail qu’il induit (Florent Champy, sociologue CNRS). La diversification des critères est aussi parfois inscrite dans les recommandations fournies aux évaluateurs afin de prendre en compte les responsabilités collectives (Ginette Arliguié, sciences de l’ingénieur U. Toulouse III-Paul Sabatier / CNU), ou encore en sciences sociales et humaines, le soutien aux projets longs aboutissant à d’importantes monographies (Pierre Moret, archéologie, CNRS). On notera encore l’appel à reconnaître l’économie de moyen comme signe de la qualité de la gestion de la recherche plutôt que d’encourager unilatéralement la course aux financements.  L’éthique et le courage individuel des évaluateurs a enfin été invoqué en offrant aux comités d’évaluation le modèle du jury du film Douze hommes en colère !

DIAGNOSTIC

Au final, la critique du système actuel souligne deux problèmes principaux. D’une part, il favorise unilatéralement la concurrence entre chercheurs au détriment de la collaboration pourtant indispensable. La valeur donnée par les pairs au travail scientifique repose en effet sur la réciprocité et n’est nullement en quantité limitée, comme l’induit un système où le nombre de revues jugées valorisantes est réduit (Michael Bon, Commissariat à l’énergie atomique). Le fossé générationnel qui sépare les jeunes chercheurs aux mobilités prestigieuses, très attentifs aux lieux de leurs publications et des anciens plus enclins à l’engagement collectif est une manifestation de ce malaise (Pierre Moret Archéologue, CNRS).

D’autre part, le contrôle du processus de « peer-reviewing »  est l’une des clés de la position dominante des grands éditeurs responsables du surcoût et de la lenteur de la circulation des publications scientifiques. Or les éditeurs présents soulignaient que l’évaluation par les pairs pourrait très bien être organisée par les communautés scientifiques elles-mêmes, dans une logique collaborative, en dehors de la sphère des éditeurs commerciaux.

Les participants ont particulièrement souligné l’engorgement du système du « peer-reviewing » qui représente pour les chercheurs une surcharge de travail non reconnu (ni rémunéré), sur lequel se fonde pourtant la renommée des revues. Les professionnels de l’édition en sciences exactes, très présents au colloque, dénonçaient les rapports d’évaluation laconiques, l’automatisation de la recherche de rapporteurs et de la gestion du peer-reviewing, mais aussi l’amalgame entre évaluation de la qualité scientifique du travail et celle de l’opportunité à la publication dans une revue donnée. Cette dernière étant la raison la plus fréquente des refus. De nombreux intervenants contestaient même les supposés bienfaits de l’anonymat du processus, qui diminuerait le sens de la responsabilité chez les évaluateurs et favoriserait l’opacité du processus.

Le crédit unilatéral accordé au prestige de grandes revues serait aussi un handicap à la pluridisciplinarité, à l’accès à la publication de spécialités et communautés de chercheurs de taille réduite, enfin à l’innovation puisqu’il faut de longues années à une revue pour s’établir.

 EXPÉRIENCES EN COURS

Ces deux journées ont enfin permis à nombre d’intervenants de présenter des expériences novatrices destinées à pallier ces déficiences dans l’esprit d’un retour aux fonctions fondamentales de la publication scientifique au service de la « République des sciences » [4].

Ont tout d’abord été présentées les mesures incitatives du CNRS en matière de soutien à la publication (Odile Contat, In-SHS CNRS). Ces mesures, qui prennent la forme non seulement de subventions mais aussi de la mise à disposition de personnels dédiés, ont établi des critères précis destinés à favoriser le libre accès. Les normes destinées à assurer une haute qualité scientifique sont connues : transparence, sérieux et rapidité du processus entre soumission et publication ; ouverture de la revue (régulation du renouvellement des responsables, élargissement du vivier d’auteurs et de rapporteurs, appels publics à contributions pour les numéros thématiques, etc.). Plus nouvelles sont les exigences en matière de diffusion : obligation à la publication électronique, à l’énonciation d’une politique de libre accès, haut standard du travail éditorial technique (application a minima des standards de l’OAI PMH).

Ces recommandations sont désormais renforcées par la révision du droit d’auteur français pour les articles scientifiques qui permet à l’auteur de faire librement circuler ses travaux publiés, 6 à 12 mois après leur publication.

En matière d’évaluation, des expériences tentent de disjoindre l’évaluation de la qualité scientifique d’un travail et son opportunité à être publiée dans telle ou telle revue afin, entre autres, d’accélérer le processus de publication et de développer des champs de recherche hybrides (voir l’expérience des « épirevues » présentées par Alain Monteil (INRIA), telle episciences.org,  qui évalue, regroupe et publie des articles déjà en libre accès ou encore Plos One présentée par Iratxe Puebla qui est devenue la plus grande revue scientifique au monde). Ces mêmes revues rendent publics les rapports des évaluateurs ou simplement les tirent de l’anonymat afin d’induire une interaction entre l’auteur et son rapporteur et d’accroître la qualité des publications. Certains cherchent à valoriser l’évaluation post-publication, c’est-à-dire les comptes rendus – dont les chercheurs ont toujours un grand besoin –, mais aussi les commentaires en bloc ou ligne à ligne, désormais techniquement faciles à mettre en place (expérience de la revue Vertigo).

Pour élargir et affiner l’évaluation, des expériences (comme par exemple Altmetric.com) cherchent à développer des moteurs de calculs de citations prenant en compte le domaine Open Access et l’usage des résultats de la recherche hors de la citation formelle, afin que ces données puissent être considérées par les évaluateurs (Guillaume Cabanac informaticien, U. Toulouse III-Paul Sabatier et Marc Renneville, CNRS / Criminocorpus). Dans cette optique, la maîtrise dite « narcissique » des outils numériques, tels les réseaux sociaux, au profit de la recherche semble indispensable pour améliorer la visibilité et la réputation des chercheurs (Guillaume Cabanac).

Dans l’objectif d’agir sur les pratiques des évaluateurs et des chercheurs, le colloque était finalement un appel à l’innovation afin d’améliorer les exigences du domaine du libre accès au nom des fondamentaux de la communication scientifique, de l’économie de moyens ou encore de la « bibliodiversité » (Marin Dacos, CLEO). L’Open Access est certainement le domaine le plus à même de relever ce défi.

[1] Schimmer, R., Geschuhn, K. K., & Vogler, A. (2015) Disrupting the subscription journals’ business model for the necessary large-scale transformation to open access. doi:10.17617/1.3. Une analyse des coûts est présentée afin d’évaluer la capacité à passer d’un modèle à l’autre : http://hdl.handle.net/11858/00-001M-0000-0026-C274-7
Retour au texte

[2] Voir l’intiative : Efficiency and Standards for Article Charges
Retour au texte

[3] Skovajsa, Marek. (2014) „Místo Sociologického časopisu / Czech Sociological Review mezi sociologickými časopisy podle bibliometrických indikátorů. Úvaha nepříliš jubilejní.“ Sociologický časopis / Czech Sociological Review 50 (5): 759-778, p. 762 « velmi úsporný a elegantní nástroj ». Trvalý link: http://hdl.handle.net/11104/0241140
Retour au texte

[4] Cohen, Dan. (5.3.2010) “The social contract of scholarly publishing”
Retour au texte

---

---