Skip to content


ESGBU nouvelle formule : un pas en avant, deux pas en arrière

Posté dans Enquêtes, Libqual+, Normalisation.

photo de coffre-fort
Ce billet ne contient pas d’ESGBU-bashing. Merci de votre compréhension.

L’ADBU (Association des directeurs de bibliothèques universitaires) a finalement publié les réflexions autour de la refonte de l’ESGBU. Le rapport de la société Six & Dix pointe bien un certain nombre d’écueils : trop grand nombre d’indicateurs à renseigner, manque de cohérence entre les enquêtes nationales (ESGBU et ERE par exemple), faible mise en valeur des services à forte valeur ajoutée, indicateurs parfois restreints et pourtant considérés comme cruciaux par les tutelles (horaires d’ouverture notamment), etc.

Un pas en avant

Les propositions d’améliorations vont dans le bon sens, celui d’une simplification. Finies les données sur les collections à renseigner par type de support physique, terminé le casse-tête pour remplir les infos budgétaires, au revoir la distinction relou entre public Lettres et publics Sciences au sein d’une même section documentaire. Je ne vais pas vous regretter.

Le rapport préconise aussi de compléter le quantitatif par du qualitatif, des références à la future norme sur l’impact des bibliothèques ISO16439, bref que des choses auxquelles je souscris complètement.

Deux pas en arrière

Passé ce moment d’euphorie, on s’aperçoit que les nouveautés envisagées (fichier xslx) vont produire leur lot de problèmes.

Pour la documentation électronique, l’ESGBU nouvelle formule demande le nombre de sessions, de requêtes ou de documents téléchargés pour toutes les ressources électroniques. Or, construire un tel indicateur n’a aucun sens compte tenu des conditions de production des statistiques : mélanger statistiques Counter et non-Counter n’est pas une bonne idée même si c’est souvent pratiqué (voir les travaux du groupe MESURE à ce sujet).

Il y aura un indicateur Satisfaction des usagers dans la future ESGBU. Super ! ça fait longtemps qu’on aurait du dépasser les indicateurs de moyens et d’usages dans une enquête de cette envergure pour intégrer la satisfaction de l’usager. Cet indicateur est présent dans la norme ISO11620 sur les indicateurs de performance (2008) et apparaît même dans la liste des indicateurs-clés préconisés par l’IFLA et BIX (le référentiel statistiques des bibliothèques allemandes). Donc, très bien, on ajoute la satisfaction des usagers à l’enquête… mais au fait, comment ? Il y a bien des pistes, la norme Indicateurs de performance préconise une enquête par questionnaire (p. 62) :

Établir un questionnaire simple énumérant les services spécifiques et/ou les aspects de ces services que l’on
veut évaluer.
(…)
Prendre au hasard un échantillon d’usagers et demander à chacun de remplir le questionnaire. On peut
recueillir les données à l’aide d’un questionnaire envoyé par la poste, par voie électronique, par une entretien
en face à face, par un entretien téléphonique, comme jugé opportun.
La Satisfaction des usagers exprimée en moyenne pour chaque service ou pour chaque aspect d’un service,
IAUS, est égale à
I AUS = A/B

A est la somme des valeurs données par les usagers à chaque service;
B est le nombre de personnes ayant répondu aux questions.

Ok, ça semble la solution la plus logique. Mais combien de bibliothèques produisent déjà ce chiffre régulièrement ? avec des conditions de production identiques ? à mon avis, peu. Combien pourront/voudront le mettre en œuvre ?
Si on souhaite uniformiser cet indicateur, il faudra s’entendre sur la formulation de la question, sur les modalités, sur la passation pour éviter les biais possibles. Pas une mince affaire.
Le rapport Six & Dix envisage une autre piste : généraliser Libqual. C’était un peu le (mon) but inavoué à son introduction dans les universités françaises en 2008 : compléter l’ESGBU par des données qualitatives orientées usager et produites à partir d’un référentiel commun. La généralisation n’est pas encore atteinte mais Libqual suit son chemin depuis 5 ans (37 établissements l’ont déjà utilisé, une journée Libqual-fr de retours et d’échanges est organisé chaque année).
Il y a pourtant un souci, un gros même. Libqual ne mesure pas la satisfaction des usagers. Il évalue la qualité des services, c’est très différent. L’article fondateur de la méthode SERVQUAL (à l’origine du protocole Libqual) l’explique bien

Consistent with the distinction between attitude and satisfaction, is a distinction between service quality and satisfaction: perceived service quality is a global judgment, or attitude, relating to the superiority of the service, whereas satisfaction is related to a specific transaction.

La satisfaction s’applique à une interaction particulière (ou son absence) alors que la qualité des services est un jugement global sur notre rapport à l’entité (espaces, personnels, services) avec laquelle nous interagissons. Il faudra faire un choix, on ne pourra pas mélanger indice de satisfaction et mesure Libqual .

Pour son crédit, le rapport indique que ces quelques points (stats d’usage des ressources électroniques, Satisfaction des usagers) font partie de la catégorie « Données difficiles à obtenir » et devront faire l’objet de réflexions plus poussées (et plus ouvertes et transparentes que celles qui ont mené à ce rapport, je l’espère).

Le rapport précise aussi qu’il faudra « donner une définition précise à chaque donnée ». Oui, évidemment les normes sont faites pour ça, surtout ISO2789 (Statistiques des bibliothèques). Mais l’important, ce n’est pas la norme dans ce cas mais son interprétation dans un gigantesque patchwork de cas particuliers. Sur ce point, on aurait besoin de retours d’expérience, de confrontations de points de vue et de jurisprudences (une mailing-list ESGBU ? Et pourquoi pas une journée ESGBU ?)

Le coffre-fort

Mais le principal problème n’est pas dans ce que je viens d’énumérer. Le principal problème ne se situe même pas dans l’ESGBU.
Le rapport débute en couplant la réflexion autour de l’ESGBU (l’enquête, les données) et d’ASIBU (l’outil permettant d’exploiter ces données) or ASIBU disparait complètement de la réflexion à la fin du document, aucune info plus précise que l’intégration des données dans le portail Statistiques de l’enseignement supérieur PAPESR (attention, cette adresse URL vous mène sur une page d’identification, sans login/mot de passe vous ne pourrez pas accéder au portail).
Le véritable recul est à ce niveau. On peut trouver tous les défauts à ASIBU : pas à jour, moche, mal fichu, pas intuitif, les données sont pourtant accessibles. Je n’ose pas dire ouvertes parce que ça ne répond pas à tous les critères d’ouverture des données ; mais on peut y accéder et l’utiliser sans login/mot de passe (apparemment délivrés manuellement comme l’a remarqué Etienne Cavalié aka Lully1804 quand il a essayé d’exploiter les données).
Donc, on simplifie et on modernise mais on place tout ça dans un joli coffre-fort. Quelle est la logique ? au moment où les bibliothèques investissent le terrain de l’open access, on déserte celui de l’open data. J’aimerais bien entendre les positions de l’ADBU et de la MISTRD sur cette question.

C’est, aussi, un peu étrange qu’à l’heure de data.gouv.fr, PAPESR se planque derrière une barrière (à moins que son transfert ne soit en chantier).
A mon sens, le problème de l’ESGBU, ce n’est pas (que) la redondance des données, la gageure de devoir le remplir. C’est plutôt qu’il a perdu tout son sens. à quoi sert la collecte des données si on ne perçoit plus l’utilité de la faire ?
Pourquoi aujourd’hui s’embêter à saisir l’ESGBU si on ne peut comparer nos données que dans 3 ans, dans une interface vieillotte qui nous empêchera de triturer les chiffres comme nous le souhaitons ?
Où sont les analyses fouillées, régulières, sur le temps long qui nous montrent chiffres à l’appui la baisse/hausse des prêts, des entrées, du PEB, la sous-dotation des services Bibliothèque électronique, l’explosion de leur budget, les tendances et les fantasmes de notre profession ?

La véritable révolution de l’ESGBU se situe peut-être dans les réponses à ces questions.

 


6 réponses

Suivez la conversation, abonnez-vous au flux RSS des commentaires de ce billet.

  1. Silvae dit

    Très intéressant merci je partage ta critique de fond sur les données! Par contre je ne comprends pas pourquoi il ne faudrait pas intégrer du counter dans Esgbu? Peux-tu m’expliquer?

    • nicoAsLi dit

      les données Counter ne posent pas vraiment de problèmes. Le chiffre demandé sera probablement global, on associera donc des données Counter et non-counter, c’est un peu comme additionner les données « emprunteurs actifs » (on sait ce que cela recouvre) et « usager » (sans plus de précision sur la méthode de calcul) : le résultat final n’aura pas vraiment de sens.

  2. Anjeaux dit

    En tant que rédacteur de cette étude, je peux rassurer toute de suite tout le monde. Ce « coffre-fort » et cette fermeture des données n’a jamais été envisagée. Nous aurions été les premiers à refuser cette orientation à contre sens de toutes les évolutions. Il s’agit d’une interprétation erronée de l’étude, dont l’objectif ne portait pas sur le système d’information mais sur la définition des indicateurs pertinents (et donc les données nécessaires). Pour info, c’est la MISTRD qui étudiera en fin d’année les évolutions nécessaires de son SI (ESGBU/ASIBU).
    Je vous confirme aussi que si les indicateurs de satisfaction et d’utilisation des ressources numériques nous ont paru très opportuns, nous n’avons pas pu aboutir sur la faisabilité de production de ces indicateurs, car les différents dispositifs actuels de type LIBQUAL ou COUNTER ne sont pas idéaux même s’ils ont le mérite d’exister. Mais il y a d’autres pistes qui ont été envisagée.
    Mais merci de participer au lancement du débat, c’était bien le but de la publication de l’étude que nous avons appelée de nos voeux !

    • nicoAsLi dit

      Merci pour vos précisions.
      Il y a un point que je ne saisis pas bien, corrigez-moi si je me trompe : l’ESGBU intègre PAPESR en 2014, qu’adviendra-t-il d’ASIBU ? apparemment, ce sera en discussion mais j’ai peut-être anticipé trop vite son prochain arrêt, je ne vois pas comment il pourrait survivre au transfert.
      Je ne comprends pas pourquoi les données PAPESR ne sont pas déjà sous Licence Ouverte et visibles dans le portail data.gouv. Est-ce que la MISTRD est sensible à cet élément ?

  3. Anjeaux dit

    Je peux vous préciser ma vision des choses, sachant que comme notre étude ne portait pas la refonte des systèmes d’information, mais sur l’identification des indicateurs pertinents, certains points mériteraient d’être creusés avec la MISTRD désormais en charge du projet de refonte des SI (ESGBU/ASIBU).
    Quand on écrit que les « données de l’ESGBU seront intégrées en 2013 dans PAPESR », cela signifie que les utilisateurs actuels (et authentifiés) de PAPESR pourront utiliser à la fois les données des établissements et des bibliothèques.
    Mais cela ne signifie pas du tout que l’accès par ASIBU (ou son évolution) ne sera plus possible, cela n’a jamais été évoqué.
    Par ailleurs, l’étude demande que soient désormais accessibles (donc par ASIBU) non seulement les données ESGBU mais aussi les données PAPESR, de manière à éviter que les bibliothèques ne remontent dans l’ESGBU des données déjà remontées dans PAPESR.
    J’espère que ces quelques précisions seront de nature à mieux éclairer l’étude.
    A votre disposition pour d’autres échanges

  4. chris dit

    à propos des indicateurs pour les ressources électroniques (e-books et bases de données en ligne ) : oui il faut un outil statistique unique afin de réaliser des comparaisons probantes entre établissement et aussi sur plusieurs périodes.
    Donc la Norme Counter est utile.
    Problème : nous sommes entièrement tributaires des « producteurs » de ces ressources
    c’est à dire les producteurs de BdD et les éditeur de e-books.
    Il leur appartient d’adopter Counter comme outil pour organiser leurs statistiques d’usage de leurs produits.
    Or, actuellement assez peu utilisent avec Counter..



HTML possible

ou, répondez à ce billet via trackback.