Skip to content


Réflexion(s) de terrain sur un projet d’archive ouverte (1)

Posté dans Open acces / Archive ouverte.

soccerquelques réflexions suite aux discussions avec les chercheurs rencontrés à propos d’un projet d’archive ouverte à l’Université de La Réunion.

La dernière version auteur (One version to rule them all)

Il n’y a qu’à voir l’offensive des éditeurs, Elsevier en tête et plus récemment l’American Society of Civil Engineers pour comprendre que la version éditeur d’une publication (le pdf mis en page par la revue) n’est pas prête d’être libérée pour l’archivage en open access.

La dernière version auteur d’une publication est importante pour le dépôt dans une archive ouverte. C’est, dans la très grande majorité des cas, la seule version fiable, c’est à dire évaluée par les pairs, sur laquelle le ou les auteurs conservent leurs droits suite à la signature du contrat de cession de droits au profit de l’éditeur (Copyright Transfert Agreement).

Mais qui possède vraiment cette version sur son ordinateur ? de la toute dernière version envoyée à l’éditeur ou téléchargée sur la plateforme de suivi de publication (Elsevier Editorial System ou MyPublication chez Springer) ?

Nous n’atteignons pas encore les records des publis pour des tests cliniques ou pour des projets de très grande envergure type LHC qui font apparaître plusieurs centaines d’auteurs pour un simple article, mais le co-autorat est la norme dans les publications en sciences et techniques qu’il m’ait été donné de voir dans mon université. En discutant avec les co-auteurs, on s’aperçoit qu’ils ne disposent ou conservent pas systématiquement la dernière version transmise à l’éditeur par l’auteur correspondant. Il font confiance à ce dernier qui garantit apparemment la conservation de cette version sans forcément la partager.

Or, si le dépôt systématique de la production scientifique est envisagé (comme ce devrait être le cas partout), le contrôle et la traçabilité de la dernière version auteur ne sont plus seulement importants mais primordiaux. Chaque co-auteur doit pouvoir disposer de la version la plus à jour pour l’ajouter éventuellement à son archive institutionnelle. Cela signifie, entre autres, revoir les habitudes de publications des chercheurs et leur gestion électronique des documents. Pas une mince affaire.

Taggé , , , , , , .


La bibliothèque au coeur de l’activité bibliométrique des universités : bonne ou mauvaise idée ?

Posté dans Aut'trucs, Saines lectures.

EscalierDurant les années 2000, les bibliothèques suédoises ont ressenti le besoin de redéfinir leurs missions et leurs rôles par rapport à la communauté qu’elles desservaient, c’est ce que nous apprend l’article How implementation of bibliometric practice affects the role of academic libraries de Fredrick Aström (Lund University Libraries) et Joacim Hansson (Linnaeus University) parue dans Journal of Librianship and Information sciences mais disponible en Open Access sur l’archive de l’Université de Lund. Le constat était simple : baisse d’activité sur les missions dites traditionnelles (recherche et organisation de l’information) et importance accrue de la documentation en ligne, émergence de nouvelles pratiques de publication des résultats de la recherche, développement des outils de recherche poussant au développement de nouveaux services pour les chercheurs, augmentation de la diffusion de la recherche en Open Access.

Changer de rôle

Animées par un groupe de spécialistes (groupe de bibliothécaires spécialistes ou intéressés, chercheurs en Sciences de l’information et des bibliothèques, bibliothécaires-enseignants ayant une longue expérience en analyse infométrique), les bibliothèques des universités suédoises se sont donc lancées dans la construction de compétences professionnelles en bibliométrie. Des cours et des formations sur les méthodes et les applications de la bibliométrie ont été dispensés localement et au niveau national.

La Suède n’était pas isolée dans ce mouvement, l’Allemagne et les Pays-Bas ont également suivi.

Sur les 48 institutions d’enseignement supérieur et de recherche en Suède, 18 d’entre elles proposent une activité dans la biblio/scientométrie, la plupart gérée par la bibliothèque. Pour ces dernières, la situation varie sensiblement entre les bibliothécaires qui travaillent sur la bibliométrie « quand ils ont du temps libre » et les postes à temps plein. Le parcours des professionnels en charge de ces missions sont également assez hétérogènes, on trouve des bibliothécaires avec un Master en Sciences de l’information et des bibliothèques mais sans grande connaissance de la biblio/scientométrie et des docteurs en statistiques ou dans d’autres champs de recherche proches des méthodes quantitatives.

Prendre l’initiative

Il est intéressant de noter que l’initiative de gérer les questions bibliométriques provient souvent de la bibliothèque elle-même. Pour les plus grandes universités, cela peut s’accompagner d’un mandat officiel de la présidence pour produire des analyses bibliométriques en vue de l’évaluation de la recherche. Car les analyses produites par les bibliothèques visent en premier l’évaluation de la recherche et/ou la fourniture de données pour la répartition des fonds budgétaires au niveau local. Mais il existe d’autres objectifs à ces analyses : cartographie des champs de recherche, recherche sur les collaborations en étudiant le co-autorat, production d’analyses spécifiques pour des chercheurs ou des groupes de recherche. Certaines bibliothèques ont même un usage local des analyses pour le management des collections.

Raisons, avantages, inconvénients

Il y a 3 raisons qui expliquent que les bibliothèques universitaires investissent ce nouveau rôle :

  1. elles disposent depuis de nombreuses années de compétences dans la manipulation des bases de données bibliographiques, des documents, des métadonnées et des outils bibliographiques utiles à l’analyse bibliométrique
  2. la bibliothèque reste une entité stable de l’université qui n’est pas directement concernée par les résultats des analyses bibliométriques. Elle est dans une position neutre et objective par rapport aux départements et laboratoires évalués

  3. la bibliométrie est au cœur du rôle des bibliothèques dans le processus de diffusion scientifique. grâce au développement et à la gestion des dépôts institutionnels et à leur rôle actif dans la propagation de l’Open Access.

La responsabilité des questions bibliométriques n’implique pas seulement un  changement de rôle pour les bibliothèques, elle engendre également plus d’attention et de prestige vis-à-vis des instances de l’université.

Au chapitre des avantages d’une telle prise en charge, on peut citer le fait que la bibliométrie ajoute des responsabilités et élargit les compétences des bibliothécaires. Ce rôle élargi a augmenté la visibilité de la bibliothèque au sein de l’établissement en accroissant notamment les coopérations avec les chercheurs. Enfin, l’augmentation de la collaboration avec la direction de l’université conduit à un engagement plus important dans le processus de management, ce qui contribue au prestige et à l’influence de la bibliothèque.

Mais s’immiscer dans la question bibliométrique n’est pas sans risque. Ce domaine nécessite des compétences avancées en méthodes statistiques en général et en indicateurs bibliométriques en particulier ; on ne s’improvise pas bibliométricien. Les relations entre bibliothèques et chercheurs ont tendance à changer de registre si la bibliothèque s’occupe de l’évaluation de la recherche. Les compétences des bibliothécaires les rendent-elles légitimes comme évaluateurs auprès des chercheurs ? Il y a également un risque que la bibliothèque soit associée aux mauvais résultats des départements évalués si les attentes ne sont pas remplies. Le principal danger provient du fait que la bibliothèque, perçue comme service ou fonction support de l’université, devienne auditeur ou évaluateur, presque juge des chercheurs.

Et en France ?

Je n’ai pas de trace d’un tel mouvement en France. Les exemples de bibliothèques gérant les données bibliométriques des laboratoires sont peu nombreux. Je n’ai trouvé que le cas de la Bibliothèque Inter-Universitaire de Montpellier qui proposait un profil de ce genre.

En France, l’analyse bibliométrique des universités est centralisée (oh surprise !) par l’Observatoire des Sciences et des Techniques, un groupement d’intérêt public (GIP) qui fédère 4 ministères, les principaux organismes de recherche (CNRS, CEA, INSERM, etc.) et la Conférence des Présidents d’Université. La principale mission de l’OST est de « concevoir et de produire des indicateurs et des analyses relatifs à la recherche et à l’innovation, pour éclairer les politiques publiques et les analyses stratégiques dans ce domaine« . L’Observatoire produit également de très intéressantes notes comme celle sur la couverture bibliométrique de l’informatique ou celle sur les classements internationaux des universités (février 2012).

Au sein de l’OST, le projet IPERU (pour Indicateurs de production des établissements de recherche universitaire) a pour but de construire les indicateurs de la production scientifique des établissements participants. Le programme a débuté par un test en 2006, puis par élargissements successifs à partir de 2007. La dernière vague a concerné les indicateurs sur les publications, les participations au PCRD et les brevets.

Chaque année, un rapport détaillé et des synthèses sur l’activité bibliométrique sont envoyés aux universités. L’équipe IPERU collabore avec les universités pour le repérage des adresses des laboratoires à évaluer, question qui peut sembler triviale mais enjeu essentiel pour un recensement fiable et exhaustif.

Malheureusement, les liens entre OST et bibliothèques semblent inexistants, tout semble se jouer à un autre niveau : direction de la recherche, département Évaluation.

Toujours est-il que la question bibliométrique revient en force dans les BU par l’intermédiaire des archives ouvertes, et dans ce cas, de plus en plus de bibliothèques sont prêtes à assumer ce nouveau rôle.

 

Taggé , , , , , , , .


Formation à distance aux tests d’utilisabilité : il reste des places !

Posté dans Enquêtes, Outils, Utilisabilité.

image d'illustrationLa deuxième session de la formation à distance « Améliorer vos outils numériques avec l’utilisabilité » aura lieu du 2 au 29 juin. Il reste encore des places disponibles donc précipitez-vous ! (en fait , c’est normal s’il reste des places pour une formation à distance mais il faut bien créer le suspense).

En 4h, cette formation vous fera comprendre comment les outils numériques que vous avez mis en place (catalogue, site web, service de renseignement en ligne, bibliothèque numérique, etc.)  sont manipulés par vos utilisateurs, en quoi ils échouent et réussissent dans les tâches et comment les améliorer grâce aux tests d’utilisabilité.

Ces tests peuvent s’appliquer à différents outils à n’importe quel moment de leur cycle de vie, aussi bien lors de la préparation d’un nouveau site pour régler les derniers détails que juste après son lancement pour corriger certains points ou en milieu de vie pour une légère refonte.

La formation fait d’abord le point sur le concept même d’utilisabilité (usability en anglais) avant de présenter pas à pas tous les aspects des tests de la définition des scénarios à l’analyse des mesures en passant par le recrutement des participants. Suite aux remarques des précédents stagiaires,  une partie consacrée aux tests sur appareils mobiles a été ajoutée.

La formation alterne présentations vidéo des notions ou d’exemples significatifs et exercices permettant d’apporter de nouveaux éléments. Vous suivez les modules à votre rythme selon vos disponibilités et nous échangeons et approfondissons le contenu par des séances de chat planifiées ou via le forum de la plateforme.

La formation à distance est payante mais vous rentrerez rapidement dans vos frais grâce aux montants que vous économiserez avec à l’amélioration de vos outils numériques (formation, prestation externe).

Pour plus d’informations, vous pouvez contacter le service de la formation continue de l’ENSSIB (formationcontinue@enssib.fr).

crédit photo : Marshmellow Men | James Vaughan | CC BY-NC-SA

Taggé , , .


ESGBU nouvelle formule : un pas en avant, deux pas en arrière

Posté dans Enquêtes, Libqual+, Normalisation.

photo de coffre-fort
Ce billet ne contient pas d’ESGBU-bashing. Merci de votre compréhension.

L’ADBU (Association des directeurs de bibliothèques universitaires) a finalement publié les réflexions autour de la refonte de l’ESGBU. Le rapport de la société Six & Dix pointe bien un certain nombre d’écueils : trop grand nombre d’indicateurs à renseigner, manque de cohérence entre les enquêtes nationales (ESGBU et ERE par exemple), faible mise en valeur des services à forte valeur ajoutée, indicateurs parfois restreints et pourtant considérés comme cruciaux par les tutelles (horaires d’ouverture notamment), etc.

Un pas en avant

Les propositions d’améliorations vont dans le bon sens, celui d’une simplification. Finies les données sur les collections à renseigner par type de support physique, terminé le casse-tête pour remplir les infos budgétaires, au revoir la distinction relou entre public Lettres et publics Sciences au sein d’une même section documentaire. Je ne vais pas vous regretter.

Le rapport préconise aussi de compléter le quantitatif par du qualitatif, des références à la future norme sur l’impact des bibliothèques ISO16439, bref que des choses auxquelles je souscris complètement.

Deux pas en arrière

Passé ce moment d’euphorie, on s’aperçoit que les nouveautés envisagées (fichier xslx) vont produire leur lot de problèmes.

Pour la documentation électronique, l’ESGBU nouvelle formule demande le nombre de sessions, de requêtes ou de documents téléchargés pour toutes les ressources électroniques. Or, construire un tel indicateur n’a aucun sens compte tenu des conditions de production des statistiques : mélanger statistiques Counter et non-Counter n’est pas une bonne idée même si c’est souvent pratiqué (voir les travaux du groupe MESURE à ce sujet).

Il y aura un indicateur Satisfaction des usagers dans la future ESGBU. Super ! ça fait longtemps qu’on aurait du dépasser les indicateurs de moyens et d’usages dans une enquête de cette envergure pour intégrer la satisfaction de l’usager. Cet indicateur est présent dans la norme ISO11620 sur les indicateurs de performance (2008) et apparaît même dans la liste des indicateurs-clés préconisés par l’IFLA et BIX (le référentiel statistiques des bibliothèques allemandes). Donc, très bien, on ajoute la satisfaction des usagers à l’enquête… mais au fait, comment ? Il y a bien des pistes, la norme Indicateurs de performance préconise une enquête par questionnaire (p. 62) :

Établir un questionnaire simple énumérant les services spécifiques et/ou les aspects de ces services que l’on
veut évaluer.
(…)
Prendre au hasard un échantillon d’usagers et demander à chacun de remplir le questionnaire. On peut
recueillir les données à l’aide d’un questionnaire envoyé par la poste, par voie électronique, par une entretien
en face à face, par un entretien téléphonique, comme jugé opportun.
La Satisfaction des usagers exprimée en moyenne pour chaque service ou pour chaque aspect d’un service,
IAUS, est égale à
I AUS = A/B

A est la somme des valeurs données par les usagers à chaque service;
B est le nombre de personnes ayant répondu aux questions.

Ok, ça semble la solution la plus logique. Mais combien de bibliothèques produisent déjà ce chiffre régulièrement ? avec des conditions de production identiques ? à mon avis, peu. Combien pourront/voudront le mettre en œuvre ?
Si on souhaite uniformiser cet indicateur, il faudra s’entendre sur la formulation de la question, sur les modalités, sur la passation pour éviter les biais possibles. Pas une mince affaire.
Le rapport Six & Dix envisage une autre piste : généraliser Libqual. C’était un peu le (mon) but inavoué à son introduction dans les universités françaises en 2008 : compléter l’ESGBU par des données qualitatives orientées usager et produites à partir d’un référentiel commun. La généralisation n’est pas encore atteinte mais Libqual suit son chemin depuis 5 ans (37 établissements l’ont déjà utilisé, une journée Libqual-fr de retours et d’échanges est organisé chaque année).
Il y a pourtant un souci, un gros même. Libqual ne mesure pas la satisfaction des usagers. Il évalue la qualité des services, c’est très différent. L’article fondateur de la méthode SERVQUAL (à l’origine du protocole Libqual) l’explique bien

Consistent with the distinction between attitude and satisfaction, is a distinction between service quality and satisfaction: perceived service quality is a global judgment, or attitude, relating to the superiority of the service, whereas satisfaction is related to a specific transaction.

La satisfaction s’applique à une interaction particulière (ou son absence) alors que la qualité des services est un jugement global sur notre rapport à l’entité (espaces, personnels, services) avec laquelle nous interagissons. Il faudra faire un choix, on ne pourra pas mélanger indice de satisfaction et mesure Libqual .

Pour son crédit, le rapport indique que ces quelques points (stats d’usage des ressources électroniques, Satisfaction des usagers) font partie de la catégorie « Données difficiles à obtenir » et devront faire l’objet de réflexions plus poussées (et plus ouvertes et transparentes que celles qui ont mené à ce rapport, je l’espère).

Le rapport précise aussi qu’il faudra « donner une définition précise à chaque donnée ». Oui, évidemment les normes sont faites pour ça, surtout ISO2789 (Statistiques des bibliothèques). Mais l’important, ce n’est pas la norme dans ce cas mais son interprétation dans un gigantesque patchwork de cas particuliers. Sur ce point, on aurait besoin de retours d’expérience, de confrontations de points de vue et de jurisprudences (une mailing-list ESGBU ? Et pourquoi pas une journée ESGBU ?)

Le coffre-fort

Mais le principal problème n’est pas dans ce que je viens d’énumérer. Le principal problème ne se situe même pas dans l’ESGBU.
Le rapport débute en couplant la réflexion autour de l’ESGBU (l’enquête, les données) et d’ASIBU (l’outil permettant d’exploiter ces données) or ASIBU disparait complètement de la réflexion à la fin du document, aucune info plus précise que l’intégration des données dans le portail Statistiques de l’enseignement supérieur PAPESR (attention, cette adresse URL vous mène sur une page d’identification, sans login/mot de passe vous ne pourrez pas accéder au portail).
Le véritable recul est à ce niveau. On peut trouver tous les défauts à ASIBU : pas à jour, moche, mal fichu, pas intuitif, les données sont pourtant accessibles. Je n’ose pas dire ouvertes parce que ça ne répond pas à tous les critères d’ouverture des données ; mais on peut y accéder et l’utiliser sans login/mot de passe (apparemment délivrés manuellement comme l’a remarqué Etienne Cavalié aka Lully1804 quand il a essayé d’exploiter les données).
Donc, on simplifie et on modernise mais on place tout ça dans un joli coffre-fort. Quelle est la logique ? au moment où les bibliothèques investissent le terrain de l’open access, on déserte celui de l’open data. J’aimerais bien entendre les positions de l’ADBU et de la MISTRD sur cette question.

C’est, aussi, un peu étrange qu’à l’heure de data.gouv.fr, PAPESR se planque derrière une barrière (à moins que son transfert ne soit en chantier).
A mon sens, le problème de l’ESGBU, ce n’est pas (que) la redondance des données, la gageure de devoir le remplir. C’est plutôt qu’il a perdu tout son sens. à quoi sert la collecte des données si on ne perçoit plus l’utilité de la faire ?
Pourquoi aujourd’hui s’embêter à saisir l’ESGBU si on ne peut comparer nos données que dans 3 ans, dans une interface vieillotte qui nous empêchera de triturer les chiffres comme nous le souhaitons ?
Où sont les analyses fouillées, régulières, sur le temps long qui nous montrent chiffres à l’appui la baisse/hausse des prêts, des entrées, du PEB, la sous-dotation des services Bibliothèque électronique, l’explosion de leur budget, les tendances et les fantasmes de notre profession ?

La véritable révolution de l’ESGBU se situe peut-être dans les réponses à ces questions.

 


[Notes de lecture] Focus group et test d’utilisabilité pour le nouveau design d’un site web de bibliothèque universitaire

Posté dans Enquêtes, Saines lectures.

Image d'une chouette - illustrationFocus Groups and Usability Testing in Redesigning an Academic Library’s Web Site (payant, Journal of Web Librarianship, avril 2008. Vol. 2, n° 2/3, pp. 219‑246). Merci à l’auteure Bonnie W. Oldham (Weinberg Memorial Library, University of Scranton)

Contexte

Nouveau site web sorti en 2007 après 2 ans de reconstruction en collaboration avec les usagers. Site sous le contrôle du département des relations publiques de l’université (5600 étudiants). Les commentaires Libqual en 2006 ont servi à confirmer ou infirmer les résultats des focus groups.

Méthodologies utilisées

Focus group

Focus group comme méthode principale pour déterminer la perception de la communauté universitaire sur le site web.

Composition

5 focus groups + 3 entretiens individuels

6 groupe de participants ciblés : enseignants, undergraduates, graduate, adultes en formation (adult learners), étudiants à distances (distance leaners) et moniteurs-étudiants du bureau de renseignement de la BU (work-study students employed at the ref desk).

7e groupe : étudiants handicapés mais pas assez de volontaires pour créer un groupe donc réalisation d’un entretien individuel.

Caractéristiques des participants aux focus groups : 80% d’étudiants, 20% d’enseignants. 50/50 entre hommes et femmes. 13 graduates et 5 undergraduates, 4 enseignants. Tous utilisent le site web (50% occasionnellement, 50% fréquemment), 75% ont assisté à au moins une formation.

Recrutement

Recrutement difficile : 900 lettres et 300 mails, rafraichissements proposés + incentives. 88 réponses (taux de réponse : 7.3%) 19 ont pris part aux focus groups (25%). Absence de volontaire pour le groupe adultes en formation, donc composition d’un 2e groupe de graduates. Pas d’undergraduate volontaires donc recrutement “sauvage” le jour du focus group pour que ce groupe soit représenté.

Déroulement

Tous les focus groups ont eu lieu dans la bibliothèque sauf celui du groupe des distances learners. Focus group réalisé à partir de l’interface du service de renseignement en ligne, un seul étudiant connecté (considéré donc comme entretien individuel)

L’image de la page d’accueil du site était diffusée lors des focus groups mais aucune manipulation du site.

Focus groups enregistrés et transcrits par le modérateur, entretien web retranscrit automatiquement, 2 autres entretiens non retranscrits, juste une prise de note.

Modération

Modérateur extérieur, étudiants du Counseling Training Center de l’Université (compétences spécifiques pour mener des entretiens), formés et briefés par la responsable du centre. D’autres étudiants étaient chargés de la transcription des séances modérées. L’auteure de l’article a modéré les entretiens individuels.

Grille d’entretien

Grille d’entretien réalisée par un comité comprenant enseignants, administrateurs et personnel de la bibliothèque. Beaucoup de questions produites lors d’un brainstorming, puis regroupées en 4 questions-clés, réécrites et transformées en questions ouvertes à la demande de la responsable du centre de formation des assistantes.

  • Question d’ouverture : « Dites nous votre nom et votre discipline (étudiant) ou votre département (enseignant) »
  • Question introductive :  » Lorsque vous faites des recherches, par quoi commencez-vous ? »
  • Question de transition : « Le but de ce focus group est d’évaluer l’utilité du site web de la bibliothèque Weinberg Memorial. Quelles sont vos attentes vis-à-vis d’un site web ? »
  • Questions clés :
    • « quel genre d’information cherchez-vous sur le site web de la bibliothèque Weinberg ? »
    • « Lorsque vous cliquez sur un lien, obtenez-vous le résultat (les informations) attendus ? si possible donnez des exemples précis. »
    • Est-ce facile ou difficile de trouver ce que vous cherchez sur le site ? donnez des exemples spécifiques.
    • Quelle est la chose que vous souhaiteriez changer sur le site ? est-ce que cela améliorerez le site web ?
  • Question de fin : « parmi tous les points/problèmes abordés, quel est celui qui vous semble spécifique au site web de la bibliothèque ? souhaitez-vous faire d’autres commentaires concernant le site web ? »

Résultats

  • Site facile à utiliser comparé à d’autres sites, mais quelques améliorations possibles.
  • Accès aux base des données surtout à distance, trop d’étapes, trop compliqué.
  • Problèmes d’identifiant, différent de celui du portail de l’université. Login/mot de passe propre à la BU difficile à retenir.
  • Problèmes sur les styles des pages web. Sentiment général : image de la BU + texte à gauche de la page la rendent agréable mais occupent trop d’espace ce qui renvoie les infos importantes dans une colonne unique à droite. Police et texte trop petit, liens trop proches (clic au mauvais endroit).

Site refondu mais pas le catalogue. Rapport sur les résultats des focus groups présenté au doyen de la bibliothèque. Beaucoup de points déjà soulevés par les bibliothécaires de référence (taille du texte, liens espacés, accès aux bases de données, etc.). Problème d’accès à distance, connu également, déjà présent dans les commentaires Libqual en 2006.

Le rapport concluait au besoin de poursuivre l’enquête avec des tests d’utilisabilité, un comité ad hoc fut créé à ce moment.

Test d’utilisabilité

Test pilote mené entre avril et mai 2006.

Recrutement

6 participants : 2 recrutements par mail, 3 lorsqu’ils ont posé une question au bureau de renseignements, 1 par le responsable de la rédaction des CV du Centre pour l’Excellence de l’apprentissage et de la formation (Center for Teaching and Learning Excellence – CTLE).

Chaque participant a reçu un bon d’achat au café de la bibliothèque.

Recrutement plus facile car rendez vous individuel (au moment le plus propice pour le participant) et échantillon plus restreint.

Les tests se sont déroulés au CTLE (camtasia Studio déjà installé dans une pièce adapté à l’enregistrement audio).

Questions

tableau contenant quelques recherches rapides et questions directionnelles à effectuer. On leur a demandé de lire les instructions à voix haute ainsi que ce qu’ils faisaient lorsqu’ils utilisaient le site web. Parole et cheminement enregistrés. Ils devaient retourner sur la page d’accueil lorsqu’ils passaient à la question suivante. Pour éliminer tout jargon du site, un champ sur le tableau leur permettait de noter tout terme inconnu ou mal compris sur le site.

Composition

Questionnaire démographique rempli en fin de test. 2 enseignants, 4 undergraduates (pour compenser leur absence lors des focus groups). 4 hommes, 2 femmes. 4 utilisateurs quotidien du site, 1 plusieurs fois par semaine, 1 quelques fois par mois.

Exercices

« Veuillez répondre aux questions suivantes en naviguant jusqu’aux pages appropriées du site web de la bibliothèque Weinberg Memorial. Lisez chaque question à voix haute et expliquez le chemin que vous empruntez pour trouver la réponse, expliquez ce que vous pensez lorsque vous faites un choix. Après avoir achevé chaque question, retournez à la page d’accueil avant de poursuivre l’exercice. Si vous êtes perdu, si vous n’aimez pas quelque chose sur le site web, ou si vous avez une idée pour améliorer le site, veuillez nous faire part de vos remarques.é

Débuter à la page d’accueil du site :

  • imaginez ques vous avez une liste de références, l’une de ces citations est : {référénce d’article} Comment vous y prendriez vous pour retrouver cet article ?
  • Retourner à la page d’accueil. Trouvez si la bibliothèque a des livres écrits par Simon Winchester
  • Retourner à la page d’accueil. Si la bibliothèque ne dispose pas du livre que vous cherchez, où allez vous pour l’obtenir ?
  • Retourner à la page d’accueil. à quelle heure ferme la bibliothèque, le jeudi 18 mai 2006 ?
  • Retourner à la page d’accueil. trouver un site web qui vous donne des infos sur comment citer un livre dans une bibliographie ou un article.
  • Retourner à la page d’accueil. Imaginez que vous devez utiliser la base de données ProQuest pour la première fois pour trouver un article, comment trouvez une aide pour utiliser cette base de données si la bibliothèque est fermée ?
  • Retourner à la page d’accueil. Imaginez que vous devez faire des recherches pour l’un de vos cours. Vous vous rappelez être venu à la bibliothèque pour un cours, mais vous avez perdu votre polycopié; Comment obtenir un autre polycopié ?
  • Retourner à la page d’accueil. Imaginez que vous suivez un cours d’anglais et vous avez besoin de rédiger un article de recherche. Où allez-vous pour apprendre à commencer une recherche d’information ?
  • Retourner à la page d’accueil. Si c’est la première fois que vous visitez le site, où cliquez-vous en premier ? pourquoi ?
  • Quels termes du site vous sont familiers ? Quels sont ceux inconnus ? Veuillez écrire ces termes dans le tableau ci-dessous.

Résultats

  • indicateurs sélectionnés : chemins utilisés pour répondre aux questions, durée ou abandon
  • certaines questions étaient plus difficiles que d’autres, à la vue des vidéos, il devenait certain que ces questions devaient être revues pour les tests futurs.
  • Instructions : certains ont expliqué ce qu’ils feraient sans le faire sur le site.
  • Résultats de TU ont confirmé ceux des FG : liens trop proches et peu visible (problème de couleur)
  • modification du design du site web
  • rendre l’outil de recherche plus important
  • éliminer le jargon autant que possible
  • éliminer le scrolling autant que possible
  • ajouter une search box pour le catalogue
  • inclure un champ de texte pouvant être modifié par les bibliothécaires-systèmes
  • ajouter un agenda
  • les questions posées à propos du site web au bureau de renseignement ou via SRV devraient être compilées afin de traquer les problèmes
Crédit photo : Funny – a Hoot @Doug88888  CC-by-nc-sa

Taggé , , , , .


Enquête d’utilisabilité – poster aux Journées ABES 2013

Posté dans Enquêtes, JABES 2013.

Nous avons mené une enquête sur le site web et le résolveur de liens des BU de l’Université de la Réunion entre décembre 2012 et avril 2013. Cette enquête, basée en grande partie sur les tests d’utilisabilité, a fait l’objet d’un rapport et a été déclinée en poster dans le cadre des Journées ABES 2013.

L’objectif de ce poster est double : publier les résultats d’une enquête susceptibles d’intéresser la communauté professionnelle et s’investir dans un mode de communication scientifique que je ne maîtrisais pas encore. Pour le réaliser, j’ai suivi les conseils avisés et précieux de Raphaëlle Bats (Premier poster, Les posters des étudiants de l’ENSSIB, Un appel à poster…en France).

Scénario

Le poster traite à la fois de l’enquête et des méthodes utilisées, notamment le test d’utilisabilité, encore peu présent dans les bibliothèques françaises. Le scénario était donc tout tracé puisqu’il devait reprendre les différentes étapes du projet : choix de l’objet d’étude, choix des méthodes, sélection de l’échantillon, préparation et administration des tests, résultats, etc.

Pour ce poster, je cherchais un angle original qui s’est rapidement imposé. Le poster traitant d’une enquête, autant interpréter ce terme dans son acception policière, je n’avais plus ensuite qu’à dérouler les différentes étapes du projet pour les faire coller à la thématique.

Graphisme

Le graphisme devait coller à la thématique, j’ai donc repris les éléments classiques des enquêtes policières : le ruban jaune « Do not cross » censé baliser une scène de crime, la ruelle sombre en arrière-plan, le feuille froissée et tamponnée pour le rapport de police, la photo anthropomorphique pour les suspects, etc.

Je souhaitais également personnifier les protagonistes (objets de l’enquête et méthodes) pour les rendre plus réels, tangibles. Mes compétences en dessin étant inférieures à celle de mon fils de 4 ans, il était plus raisonnable de faire appel à quelqu’un de doué, et Melle Salt (allez voir son blog Sometimes, you’re the salt in my coffee), dessinatrice talentueuse et néanmoins discothécaire, a très gentiment accepté de donner corps et visages à ce projet.

Réalisation

Le poster m’a pris à peu près 15 jours en ne travaillant que la nuit (obligations professionnelles et familiales obligent), il a été réalisé avec Adobe InDesign.

Impressions

L’impression du poster a été confié au service Reprographie de l’Université de La Réunion. Ils ont fourni un super travail et ont su me conseiller pour le type de support. Le poster est imprimé sur une bâche, pratique pour le transport en avion et en mat pour éviter le reflet de la lumière, donc pour un meilleur confort de lecture.

Difficile d’évoquer des sites web sans voir à quoi ils ressemblent, 4 copies d’écran (2 pour le site web, 2 pour le résolveur) ont donc été imprimées sur papier A3 200gr pour accompagner le poster. Ils n’ont malheureusement pas pu être affichés, faute de place sur le panneau.

Le coût total de l’impression s’est élevé à 67€ TTC.

Crédits

Police de caractère : Chunkfive Roman

Image d’arrière-plan : 30 / 365 – Water Reflections by Night par Inspire KellyCC by

Papier : Texture 190411 par Chiaralily - CC by-nc

Icônes et illustrations :

Bibliographie

Vous trouverez des pistes bibliographiques sur ma page Zotero : Usability testing

Poster

poster JABES 2013

Télécharger le poster JABES 2013 en version PDF au format A0 (3,55 Mo)


[Notes de lecture] Le signalement des liens brisés par les usagers d’un résolveur de liens (SFX)

Posté dans Docélec, Saines lectures.

brokenlinkBroken-link Reports from SFX Users : How publishers, Vendors and Libraries Can Do Better (Serials Review, Volume 38, numéro 4, december 2012). Merci à l’auteur Xiaotian Chen (Bradley University)

L’enquête étudie 432 liens brisés issus du résolveur de liens SFX entre l’automne 2007 et l’automne 2011. Lorsqu’un usager utilise SFX pour sa recherche d’articles en ligne et rencontre un lien brisé, il peut en avertir la bibliothèque via un formulaire pré-rempli.

Méthodologie

Tous les liens ont été entrés dans un fichier Excel avec le jour, la date et l’heure à laquelle le lien est rapporté, à quel moment la bibliothèque a répondu à l’usager,  les références de l’article, le bouquet de revues utilisé (SFX Target), la cause du lien brisé et si la bibliothèque a retrouvé le texte intégral demandé par l’usager. Deux bibliothécaires ont traité l’intégralité des demandes.

L’étude vise à déterminer quels bouquets proposent le plus de liens brisés, les causes et le temps moyen de réponse aux usagers.
D’après la littérature professionnelle, les raisons d’un lien brisé dans un résolveur de liens sont variées: données de l’URL source inexactes, données de l’URL source incomplètes, base de connaissance du résolveurs inexacte, erreur de traduction du résolveur, URL cible du résolveur incomplète, absence de lien au niveau de l’article, erreur de traduction par le fournisseur de l’URL cible, contenu du fournisseur incomplet, etc.

Sur les 432 liens brisés, 46 n’ont pas pu être reproduits et n’ont pas été intégrés à l’enquête.

Résultats

Ebsco Academic Search Premier et Wiley Online sont les cibles proposant le plus de liens brisés.
D’après les données recueillies, les 4 principales raisons des liens brisés sont :

  • les articles non disponibles dans la cible : la plupart du temps, l’article n’est pas disponible chez le fournisseur ou l’éditeur. L’exactitude des données des éditeurs dans SFX en est le problème majeur. Il y a également des problèmes techniques : revue avec un embargo de 12 mois pour laquelle les articles arrivés à expiration ne sont toujours pas disponibles
  • l’erreur d’index : données erronées pour l’issn, l’année de publication, le volume, le numéro ou la page
  • l’absence de lien au niveau de l’article : concerne surtout le DOAJ. Beaucoup de revues du DOAJ ne proposent pas de liens structurés vers l’article. Le lien vers l’article renvoie en fait vers la page d’accueil de la revue, laissant penser que l’article n’est pas disponible
  • les critiques de livre ou articles spéciaux dans les revues : ces articles existent dans les bouquets mais le résolveur est incapable de les lier correctement

Autres raisons des liens brisés

  • articles issus de suppléments à un numéro : cela peut provenir d’une mauvaise numérotation ou pagination du supplément (l’ajout d’un S avant ou après la pagination peut poser des problèmes de traduction au résolveur). Il se peut aussi que le fournisseur ou l’éditeur n’inclut pas le supplément dans l’abonnement en ligne
  • volumaison, numérotation et pagination erronées : les volumes en chiffre romain, les doubles numéros (1-2, 6-7) peuvent engendrer des erreurs
  • certaines revues Wiley affichent deux dates de publication : la date de publication en ligne et la date officielle de publication. Les index utilisent les plus souvent la date officielle mais Google Scholar utilise parfois la date de publication en ligne qui induit en erreur le résolveur
  • Le manque d’intuitivité des liens Texte intégral (« Get PDF ») : 46 cas de liens brisés renvoyaient bien vers le texte intégral. Ces cas concernaient principalement deux bases pour lesquelles on peut se demander si le lien vers le texte intégral est assez explicite
  • erreur de DOI : lorsqu’une revue change de plateforme ou lorsque le DOI est incorrect cela entraine des erreurs. Cas d’une revue chez 2 éditeurs dont une année en commun. Le DOI renvoie vers un site d’éditeur alors que c’est un autre qui dispose de l’article en FT recherché
  • Volumes ou articles manquants : certains numéros ou volumes sont totalement manquants chez l’éditeur alors que des numéros plus récents de la même revue sont disponibles. Le résolveur envoie inévitablement un lien brisé dans ce cas

Les bibliothécaires ont répondu aux 432 mails prévenant de liens brisés et ont envoyé 276 articles en texte intégral. Pour ceux réellement indisponibles, les bibliothécaires ont du présenter des excuses et proposer le prêt entre bibliothèque.
L’étude montre également que les mails sont envoyés plutôt le soir, le week-end et les vacances que durant les horaires d’ouverture de la bibliothèque.

Analyses

Les liens brisés s’expliquent par de nombreuses raisons, la qualité des listes de titres fournies par les éditeurs est souvent montrée du doigt par la littérature professionnelle. La différence provient de la stabilité des listes (Ebsco Academic Search Premie vs JSTOR). Le résultat est simple : le texte intégral ne se trouve pas dans la base indiquée par le résolveur. Les éditeurs doivent continuer d’améliorer la qualité de leurs listes.
L’usage plus fréquent des DOI pourrait résoudre le problème des volumaisons/numérotations erronées ou des suppléments, seulement s’ils renvoient vers le site de l’éditeur ou CrossRef. Cela ne fonctionnera pas avec des bases de données agrégées type Jstor ou Ebsco Academic Search Premier.
Les résolveurs de liens sont probablement une des plus importantes inventions des 10-15 dernières années dans les bibliothèques. Ils ont transformé la manière d’accéder à l’information en ligne. Les liens brisés restent, cependant, un problème majeur. Les producteurs de résolveurs devraient trouver des moyens de mieux gérer ces difficultés techniques : volumaisons/numérotations, description des suppléments, question des numéros sous embargo, problème des DOI et la double date de publications sur le site des éditeurs.

 Crédit photo : Freedom / drp / CC-by-nc-nd

Taggé , , , , .


Rendez vos outils numériques beaux et séduisants avec les tests d’utilisabilité (auto-promo)

Posté dans Aut'trucs, Enquêtes.

290703468_cc3eca806e_mLes méthodes d’enquête, c’est ma passion.

J’aime les utiliser, les décortiquer, les mixer pour construire des plans d’évaluation ambitieux (par exemple sur les extensions des horaires d’ouverture ou le service de renseignement en ligne 1, 2, 3).

J’aime surtout essayer de nouvelles méthodes. Je travaille depuis quelques mois sur une méthode dont on entend peu parler en France, a fortiori, dans les bibliothèques françaises alors qu’elle est solidement implantée dans les bibliothèques nord-américaines. Il s’agit du test d’utilisabilité.

Une enquête basée sur ces tests est en cours dans les BU de La Réunion ; les premiers résultats devraient émerger d’ici quelques semaines. Nous espérons améliorer les outils testés (site web et résolveur de liens), appliquer la méthode à tous les outils numériques que nous proposons et l’inscrire dans tous les futurs développements.

Une récente visite à la cellule Formation continue de l’ENSSIB m’a donné l’occasion de transformer cette expérience en opportunité de formation (j’en profite pour remercier Armelle de Boisse et Bertrand Calenge). Compte-tenu de l’éloignement géographique, le format Formation à distance s’imposait et, n’ayant jamais pratiqué, c’était aussi une chance de le découvrir.

Le stage « Améliorer vos outils numériques avec l’utilisabilité » est une introduction à la méthode des tests d’utilisabilité et de leur application pratique sur le terrain. La durée se veut relativement courte (2 heures) à utiliser à votre rythme entre le 3 et le 16 juin 2013. La formation alterne présentations vidéo et exercices permettant de transmettre les connaissances nécessaires tout en évitant le cours magistral sur écran. L’interactivité sera assurée par des plages d’échanges sur le forum de la formation (ou via réseaux sociaux).

Si vous venez de sortir votre site, votre catalogue, votre bibliothèque numérique ou votre archive ouverte, si vous avez un projet de refonte, si votre public boude vos outils, si vous en êtes mécontents, si vos usagers le valent bien … inscrivez-vous !

PS : ne prenez pas ce titre putassier au pied à la lettre. L’utilisabilité vous aidera, tout au plus, à rendre vos outils moins craignos et c’est déjà beaucoup.

Crédit photo : Usability / Mushon / CC-by-nc-sa

Taggé , , , , .


Une touche de personnalisation en plus chez Libqual

Posté dans Libqual+.

Libqual vient d’annoncer via liste de diffusion, une amélioration majeure de leur enquête.

Pour rappel, Libqual est un protocole d’enquête qui s’adresse aux bibliothèques universitaires ou de recherche et qui vise à mesurer la qualité des services.

Parmi les questions signalétiques qui serviront à mesure la représentativité de l’échantillon par rapport à la population-cible, on trouve la discipline des répondants et le statut (étudiant de première année, doctorant, enseignant-chercheur, etc.).

Le répondant peut choisir sa discipline parmi une liste personnalisée par l’établissement. Cela permet de ne proposer que les disciplines enseignées dans cette université ou de développer une branche disciplinaire en sous-catégories pour mieux représenter sa diversité. Chaque modalité de réponse créée ou modifiée reste liée à une modalité initiale qui autorisera l’agrégation des résultats et les comparaisons entre établissements ou pays.

Cette personnalisation n’était pas possible avec le statut, ce qui s’avérait délicat lors de l’implantation de l’enquête dans d’autres systèmes éducatifs Les différents items correspondaient surtout à la réalité nord-américaine (distinction undergraduate/graduate). Si la traduction de 2007 a permis d’élargir ces statuts aux contextes français et suisse, le manque de souplesse de cette question restait un problème important.

C’est donc chose faite, comme pour la discipline, il sera possible de customiser les statuts avant de lancer l’enquête.

Crédit photo : Coucou ! – Gadl – CC by-sa

Taggé .


[Lib 2.012] Les espaces sont le service : évaluation de la bibliothèque physique

Posté dans Compte-rendu, Enquêtes, Lib 2.012.

L’enregistrement de l’intervention est disponible sur le site Lib 2.012. Les documents (synthèse, verbatim de l’enquête) sont disponibles sur le site Edmonton Public Library.

Beth Wortman, Digital Literacy Librarian, Edmonton Public Library (Canada)
Carla Haug, 21st century Library Spaces Librarian, Edmonton Public Library (Canada

Contexte

L’impact des technologies, exemple de la bibliothèque Fisher-Watkins de la Cushing Academy (établissement privé) passée au tout-électronique, sans aucun livre. Plusieurs bibliothèques ont annoncé le passage au tout-électronique (bibliothèque d’école en Ontario). La bibliothèque Santé de l’Université John Hopkins avait annoncé un projet similaire en 2011 mais a du reconsidérer leur position.

La New York Public Library devait entreprendre d’importants aménagements de leurs espaces, ce qui impliquait la relocalisation d’une partie de leurs collections en accès indirect (dans un magasin à plusieurs kilomètres) et la multiplication des ordinateurs et des espaces type cafés dans la bibliothèque. Ce projet rencontra une forte opposition de la part des usagers et un puissant relais médiatique.

Est-il judicieux de vouloir faire ressembler les bibliothèques à des Starbuck, des cybercafés ou des centres communautaires ?

Stage sur les espaces de la bibliothèque du 21ème siècle

Le point de départ du projet est la notion d’espace public et sa transformation actuelle.

Deux bibliothécaires-stagiaires ont travaillé pendant 1 an à les bibliothèques publiques d’Edmonton avec pour objectif de comprendre comment les usagers utilisent les espaces (objectif) ; le but stratégique étant “nous créons des espaces virtuels et physiques ouverts, sûrs et inspirants”

Il existe beaucoup d’avis, provenant d’autorités en la matière, sur ce que devrait être les espaces d’une bibliothèque. Mais priorité d’orienter la recherche sur le public local, approche ethnographique : enquêter sur ce qu’ils font dans les espaces.

4 questions pour comprendre les usagers

  • que font les usagers dans les espaces d’EPL (Edmonton Public Library) ? (qui sont-ils ? quand viennent-ils ? quelles activités ?)

  • Comment voudraient-ils utiliser les espaces ? leur donner la parole, enregistrer leurs réponses (qu’aiment-ils dans les espaces ? que désapprouvent-ils ?)

  • quelles sont les tendances actuelles et futures en matières d’espace de bibliothèque et d’activité d’usagers ? (en se basant sur l’expérience des autres bibliothèques, qu’est-il possible d’essayer ?)

  • Comment faire converger, au mieux, espaces et besoins des usagers ? (faire des recommandations)

Méthode

Mix de méthodes :

  1. observation (seating sweeps ou behavioural mapping). Observation dans toutes les annexes de l’EPL : 3 fois par jour pendant 3 jours dans chaque annexe, elles se sont baladées dans tous les espaces publics de la bibliothèque en notant qui était présent, ce qu’ils faisaient, quels équipements étaient utilisés. En quelque sorte, une photo à longue durée d’exposition des usagers

  2. Parler aux usagers (et au personnel) : questionnaires, entretiens, incitation à faire des photos, inventaires de site.

    • questions sur le background des usagers, sur leur visite à la bibliothèque
    • visites aux annexes pour introduire l’enquête. Questions au personnel : ce qui fonctionne et ce qui ne fonctionne pas pour les usagers.
  3. État de l’art : pour relever les tendances dans le monde

Résultats de l’enquête

Qui sont-ils ?

D’après les observations :

9834 individus [note perso : méthode basée sur l’observation donc pas déclarative ; catégories de représentations très larges, non-scientifiques] : adulte, jeune adulte, ado, enfant scolarisé, personne âgée.

Beaucoup étaient en groupe : circulant dans la bibliothèque, enregistrant leurs emprunts, installés à un ordinateur (40%).

D’après les questionnaires : 1517 répondants (66% de femmes), pour raisons légales, elles n’ont pas pu recueillir l’avis des moins de 18 ans ce qui a posé problème pour l’analyse des résultats.

Que font-ils ?

D’après les 13567 activités observées :

  • 24% parlaient à d’autres personnes
  • 15.8% sur un ordinateur
  • 14.6% circulant
  • 9.5% lisant
  • 4.4% interagissant avec le personnel

L’importance de chaque activité varie en fonction du sous-groupe étudié. Si parler à d’autres personnes est l’activité principale des moins de 35 ans, pour les 35-60 ans, c’est le feuilletage et lire pour les plus de 60 ans.

En se focalisant sur l’utilisation des ordinateurs (2287 observations), on remarque que la première activité est consulter des sites web (28%), puis utiliser Facebook (22.4%), jouer (19.2%),  regarder des vidéos (12.1%) et lire ses mails (8.6%). L’utilisation des ressources de la bibliothèque arrive après avec 4.3% et en dernier utiliser la suite OpenOffice.

La répartition des activités Ordinateurs montre que Facebook est surtout utilisé par les ado et jeunes adultes, le jeu par les pré-scolaires, les enfants et les ados (mais le jeu est présent dans toutes les catégories d’âge). Les ressources de la bibliothèque sont utilisées par les plus jeunes et les plus âgés.

que déclarent-ils faire ?

cette question ne porte que sur les répondants à l’enquête, c’est à dire les plus de 18 ans. Ceci explique en partie pourquoi les résultats sont si éloignés des activités observés :

  • emprunter/rendre des documents 87%
  • chercher des documents 62%
  • trouver un document en particulier 45%
  • utiliser les ordinateurs 32%

qu’apprécient-ils dans les espaces ?

(données issues des entretiens)

  • accès aux collections tout supports confondus
  • accès aux ordinateurs et internet
  • espaces dédiés aux enfants
  • confort et esthétique
  • espaces calmes
  • espaces de groupe et de socialisation

que désapprouvent-ils?

  • accessibilité des collections (notamment pour les réservations), problème avec les portes et les escaliers
  • manque de flexibilité des espaces (ils veulent des place calmes ET des connexions pour les ordinateurs portables)
  • bruit
  • esthétique, manque de fenêtres, peu d’œuvres d’art dans les locaux

Qu’attendent-ils de nous ?

  • de la flexibilité (mobilier amovible, accès aux branchements, large allées, des espaces et des collections accessibles)

  • de la technologie (espaces tech-friendly, accès continu surtout pour le wifi, des espaces pour le jeu)

  • des collections (accès continu aux collections, des collections enrichies et une organisation des collections compréhensible)

  • du zonage (zone calme, zone social, zone Technologies)

Ils veulent surtout des espaces. Les espaces SONT un service public, les espaces sont un service tout court

Taggé , , , , , , , .