Skip to content


La validation centralisée dans HAL nuit-elle à son efficacité ?

Posté dans Open acces / Archive ouverte.

Disclaimer : HAL est l’archive ouverte de l’Université de La Réunion, pour laquelle je suis chef de projet Open Access et Archive ouverte. Je suis également administrateur du portail HAL-Réunion.

Il y a quelques jours, Stéphanie Pouchot déplorait sur son blog le côté sacerdotal du dépôt de document dans l’archive ouverte HAL (processus plus long que prévu, soumis à validation pas forcément comprise, manque d’interopérabilité entre les différentes plateformes de dépôt). Le billet fût diffusé puis repris sur Twitter où il a trouvé un écho plutôt positif en plus des re-tweets :

 

 

 

Le CCSD, présent et actif sur Twitter (il faut le souligner et les en féliciter) a pris part à la discussion d’abord en commentaire sur le billet puis sur Twitter, de manière parfois étrange :

Moment à partir duquel je suis intervenu dans la discussion :

Twitter n’étant pas l’espace le plus adapté pour un échange d’idées argumenté, j’ai décidé de répondre à la question du CCSD dans ce billet (voilà pour l’introduction).

Je suis intervenu dans ce débat car j’ai moi-même expérimenté les déboires relatés par Stéphanie Pouchot dans son billet et j’ai également recueilli plusieurs témoignages de chercheurs de mon université ayant eu maille à partir avec le dépôt dans HAL.

Oui, le dépôt dans HAL n’est pas simple, et peut même rebuter les meilleures volontés.

Comme le souligne Agnès Magron du CCSD dans le commentaire du billet, beaucoup de choses ont été faites pour améliorer ce dépôt :

(…)nombreuses fonctionnalités proposées pour faciliter justement le dépôt : récupération des métadonnées à partir du fichier pdf, récupération des métadonnées à partir d’un DOI, ajout des auteurs d’une même structure de recherche, associer tous les auteurs à la même affiliation, etc.

Cela dit, le problème ne provient pas de la « méconnaissance » de ces fonctionnalités comme l’indique Mme Magron. Les fonctionnalités existent, elles sont utiles, et les champs obligatoires pour le dépôt sont en nombre raisonnable. Le problème se situe à un autre niveau.

L’affiliation obligatoire de tous les auteurs du document peut déjà poser problème, surtout si les auteurs travaillent hors de France. Le souci n’est pas tant l’absence de structure pour les affilier que la multitude de laboratoires ou équipes de recherche créés au fur et à mesure des dépôts. Comment choisir le bon labo si on souhaite éviter d’en créer un nouveau ? En l’absence de référentiel européen ou mondial, qui se chargera un jour du ménage dans les structures étrangères ?

La validation est le vrai nœud du problème, c’est à ce moment que l’expérience de l’utilisateur (car c’est de ça dont il s’agit) est malmenée. Alors qu’on pensait avoir tout entré correctement, on se voit notifier un refus de dépôt ou des demandes de modifications, plus ou moins compréhensibles, via un système de notification/réponse assez froid. Même si la qualité des données est importante (il n’y a qu’à voir les défaillances sur ce point dans ResearchGate ou Academia), ça porte un coup au moral et peut faire douter même les plus enthousiastes. Il serait d’ailleurs intéressant de connaître le nombre de tentatives de dépôt qui n’a pas abouti au versement du document suite à une demande de modification…

On peut aussi persévérer, vouloir apprendre à déposer correctement en prenant connaissance des types de publications acceptés dans HAL comme l’indique la documentation du site. Mais, ironiquement, on se retrouve face à une page 404 :

404

Mise à jour du 01/09/2015 (15h48) : URL mise à jour suite à la publication du billet, l’adresse correcte était https://hal.archives-ouvertes.fr/page/les-types-de-publication-acceptes-dans-hal

Je reviens à mon tweet, pourquoi je pense que cette situation est intenable à terme. Je précisais bien intenable pour le CCSD comme pour les établissements.

Pour le CCSD

Le tweet sur le sacerdoce de la vérification des centaines de dépôts hebdomadaires peut très bien être une maladresse de communication. Il peut aussi traduire un malaise quant à cette activité fastidieuse et peu valorisante, ce côté videur de l’open access décidant qui a le droit d’entrer ou pas dans la boîte de nuit à la mode.

A la mode, parce qu’il suffit de regarder les chiffres des dépôts. Sur les trois dernières années, les dépôts de documents dans HAL ont progressé de 20, 18 et 19 % (les chiffres proviennent de la plateforme HAL elle-même). En 2014, l’équipe du CCSD a dû vérifier plus de 45000 références ! Un travail colossal pour une équipe …. composée de 13 personnes si l’on en croit le site web. 13 personnes pour gérer HAL, TEL, ScienceConf, EpiSciences, MediHAL, etc.

dépôt HALMême si on table sur une progression en baisse, à 15% pour 2015, cela fera tout de même plus de 50 000 documents à vérifier. Comment l’équipe du CCSD pourra faire face à ce raz-de-marée en conciliant délai de vérification raisonnable et qualité des métadonnées ?

Pour les établissements

En tant que chef de projet OA/AO, une partie de mon rôle est d’accompagner les chercheurs lors de leurs premiers dépôts et aussi (surtout) de les rassurer. Cette tâche n’étant pas naturelle dans leur processus de publication et souffrant de nombreux obstacles, il faut la rendre la plus indolore possible. Or, après avoir suivi atelier, conférence et accompagnement personnalisé sur HAL, lorsque les chercheurs viennent pour nous raconter l’échec de leur première expérience d’auto-archivage, je vous assure que c’est tout sauf indolore.

Les établissements auraient pourtant un rôle à jouer dans cette activité de vérification. Ceux, volontaires, ayant souscrit au portail HAL pourraient valider les dépôts sur des critères précis déterminés en concertation avec le CCSD. De plus, utiliser HAL comme archive ouverte institutionnelle élargit souvent la définition d’un document « accepté », c’est-à-dire digne d’apparaître dans la production scientifique de l’Université. Le portail HAL de l’INRIA a déjà montré, en son temps, que ce périmètre n’était pas fixé ad vitam æternam, pour les articles de vulgarisation scientifique notamment.

Une validation locale permettrait aussi de renforcer l’accompagnement des chercheurs, d’anticiper les possibles refus de dépôt, de travailler encore et encore sur la médiation auprès des publics dans le seul but d’assurer le succès et l’appropriation de l’archive par les chercheurs.

Je suis sûr que nous sommes nombreux à nous tenir prêts à travailler avec le CCSD sur cette piste.

Taggé , , , , , , , .


15 réponses

Suivez la conversation, abonnez-vous au flux RSS des commentaires de ce billet.

  1. Camille Meyer dit

    Oui, on est prêt !

  2. Stéphanie Pouchot dit

    Entièrement d’accord avec vous, aussi bien sur les aspects UX que sur la validation locale ! :o)

  3. A. Magron dit

    Les personnes chargées de la vérification des dépôts ont parfaitement conscience que les déposants n’ont pas envie de revenir sur leur saisie et elles cherchent constamment le fragile équilibre entre l’exigence de qualité et le soin de ne pas décourager. La tolérance et la souplesse sont très souvent de mise. Les déposants, pour la majorité, ont parfaitement conscience que ce service est là pour améliorer leurs données et qu’au final, c’est pour leur entier bénéfice en tant qu’auteur.
    Contrairement à ce que vous pensez, l’organisation de la vérification telle qu’elle existe depuis la création de HAL fonctionne de façon efficace : l’homogénéité de traitement en garantit la qualité, quelle que soit l’origine du déposant.
    Par ailleurs, avec cette organisation, ce service est assuré de façon PERENNE, ce qui est aussi gage de qualité sur la durée.

    • nicoAsLi dit

      Mme Magron, merci d’avoir pris le temps de répondre à ce billet.
      Je ne pense pas que l’organisation de la vérification soit inefficace. Je pressens qu’elle le sera compte-tenu de l’augmentation du nombre de dépôt. La question étant à quelle échéance. De plus, vous bénéficiez d’un réseau de documentalistes-bibliothécaires, spécialistes de la qualité des données, prêt à travailler en coordination sur ce chantier. Je vois là, une solution possible à un futur problème.
      Comme le faisait remarquer Mathieu Saby dans son commentaire, le Rapport Bauin ne dit pas autre chose que le contenu de mon billet. Il pointe tous les défis auxquels aura faire face le CCSD. Mais existe-t-il une réponse du CCSD ? est-ce que cette feuille de route a été mise en oeuvre ?

      [Rapport Bauin, p. 7]
      Modération des dépôts (contrôle qualité)
      La modération des dépôts dans HAL devrait être faite en réseau de professionnels de l’IST. Il est déraisonnable que la quasi-totalité de ce travail soit effectué par les membres du CCSD avec l’aide de quelques bienveillants collègues intervenant informellement.
      Quelques établissements et probablement de nombreux laboratoires voient des bibliothécaires, des documentalistes ou d’autres ITA travailler sur HAL en appui aux chercheurs, beaucoup trop souvent de manière isolée. Des personnels de l’INIST doivent être mobilisés. Les divers réseaux et associations professionnelles pourraient servir de point d’entrée pour les identifier.
      Mais on ne mobilisera pas efficacement les bonnes volontés professionnelles si on se contente de leur distribuer du travail à exécuter : ils en ont déjà
      suffisamment là où ils exercent. Il est nécessaire de les faire participer au moins à l’élaboration des critères, qui sont une condition préalable. Il faut aussi animer ce réseau, construire les échanges et l’entre-aide etc.

      • A. Magron dit

        Le CCSD s’appuie déjà pour la vérification sur un réseau de documentalistes, spécialisés dans leurs disciplines. De plus, une équipe de l’INIST a été constituée cet été pour assurer ce service (cf feuille de route).
        Mais ne soyons pas naïfs, quelle que soit l’organisation de cette activité, les mécontents qui ont envie de s’exprimer le feront toujours.

        • nicoAsLi dit

          Bonsoir Mme Magron,
          traiter les personnes impliquées sur le terrain dans la promotion de HAL et faisant part de critiques qui se veulent constructives de « mécontents qui ont envie de s’exprimer » (et par extension, que vous aimeriez voir un peu plus silencieux), est-ce votre opinion personnelle ou la position officielle du CCSD ?

          • A. Magron dit

            Les mécontents auxquels je me réfère sont tout simplement ceux dont vous parlez dans votre billet : les déposants qui n’apprécient pas les demandes de modification.

          • nicoAsLi dit

            c’est sur ce point que nos analyses divergent. Il existe d’irréductibles mécontents pour qui aucune amélioration du produit ne sera satisfaisante. Mais l’exemple sur lequel je me base et les témoignages que je peux recevoir ne concernent pas cette catégorie de personnes. Ce sont des publiants motivés, qui ont conscience des enjeux de l’OA tout étant novices que l’on perd à différents points du processus de dépôts. Perte que nous ne sommes pas certains de recouvrir, pour un chercheur qui appellera à l’aide, combien préfèrent remettre le dépôt à plus tard voire jamais ?
            En 4-5 ans, le paysage de la diffusion en ligne des articles a profondément changé. ResearchGate et Academia constituent malheureusement l’étalon de ce que devrait être le dépôt en ligne. Dans mon université, le rythme des dépôts sur ces plateformes est pour le moment plus rapide que sur HAL-Réunion. Il faut s’interroger mais surtout interroger, observer les principaux intéressés pour comprendre pourquoi et comment changer cela tout en conservant notre attachement à la qualité des données.

  4. Mathieu Saby dit

    Bonjour Nicolas
    Tu ne le cites pas, mais le rapport Bauin, sorti il y a un an tout juste http://www.cnrs.fr/dist/z-outils/documents/CNRS%20DIST%20Rapport%20Bauin%20sur%20CCSD%20et%20HAL%20septembre%202014.pdf , préconisait justement de mettre en place une modération collaborative. Mais il ne chiffrait pas les ressources nécessaires, jugeant juste – un peu rapidement ? – la situation actuelle « déraisonnable ».
    Il développait aussi l’idée de distinguer clairement des fonctions distinctes (signalement / dépôt de preprints / dépôt de post-prints), ce qui serait positif en terme d’UX (et pourrait permettre de différencier les workflow de dépôt)…

    Tu sais si le rapport Bauin avait fait l’objet de remarques officielles par le CNRS et le CCSD ?

    Mathieu Saby

    • nicoAsLi dit

      Merci Mathieu pour le rappel, je n’avais même pas pensé à me replonger dans le rapport avant la rédaction du billet.
      Non, je ne sais pas s’il existe une remarque officielle, au-delà de la réponse de Mme Magron, pas vraiment en phase avec les recommandations.

  5. Enro dit

    Merci pour ce billet qui donne à penser ! Exemple concret : je dépose actuellement ma bibliographie complète, ce qui demande un travail utile mais prenant de retrouver les versions auteur des articles publiés. Dans le cas d’espère, tout heureux de remettre la main dessus, je dépose mon fichier Word… et la modération me dit qu’il manque le titre de l’article et le nom de l’auteur dans le fichier. J’avais bien repéré ce manque mais sachant que HAL appose une page d’en-tête qui donne justement ces informations, je ne m’étais pas inquiété. J’avais tort ! J’ai fait la modification demandée mais je reste sur l’impression qu’elle était inutile, et effectivement dissuasive pour les déposants.

    => Deux conclusions :
    – pour la précision du débat, il serait effectivement utile de connaître le nombre de tentatives de dépôt qui n’a pas abouti au versement du document suite à une demande de modification
    – quand la demande de modification porte sur le fichier, ne peut-on pas imaginer que la notice soit validée sans le texte intégral, le temps que la modification y soit apportée (ou non, mais on aura au moins la notice) ?

    • nicoAsLi dit

      J’ai vécu la même expérience et la même frustration (demande d’ajout du titre et du nom de l’auteur dans le fichier).
      L’indicateur pourrait être demandé au CCSD mais le dévoileront-ils ?
      Effectivement, un signalement temporaire de la référence le temps que le fichier soit corrigé pourrait-être une solution

Poursuivre la discussion

  1. La validation centralisée dans HAL nuit-elle à son efficacité ? | Veille juridique Lié ce billet on 1 septembre 2015

    […] Sourced through Scoop.it from: assessmentlibrarian.fr […]

  2. Comment améliorer l’expérience utilisateur (UX) d’une archive ouverte ? – Assessment Librarian : un blog sur les enquêtes et l'évaluation des services en bibliothèques Lié ce billet on 6 octobre 2015

    […] y a quelques semaines, je posais la question de l’expérience utilisateur au sein de l’archive ouverte HAL. Au même moment, un article traitant de l’UX des archives institutionnelles paraissait dans […]



HTML possible

ou, répondez à ce billet via trackback.