L’objectif de ce poster est double : publier les résultats d’une enquête susceptibles d’intéresser la communauté professionnelle et s’investir dans un mode de communication scientifique que je ne maîtrisais pas encore. Pour le réaliser, j’ai suivi les conseils avisés et précieux de Raphaëlle Bats (Premier poster, Les posters des étudiants de l’ENSSIB, Un appel à poster…en France).

Scénario

Le poster traite à la fois de l’enquête et des méthodes utilisées, notamment le test d’utilisabilité, encore peu présent dans les bibliothèques françaises. Le scénario était donc tout tracé puisqu’il devait reprendre les différentes étapes du projet : choix de l’objet d’étude, choix des méthodes, sélection de l’échantillon, préparation et administration des tests, résultats, etc.

Pour ce poster, je cherchais un angle original qui s’est rapidement imposé. Le poster traitant d’une enquête, autant interpréter ce terme dans son acception policière, je n’avais plus ensuite qu’à dérouler les différentes étapes du projet pour les faire coller à la thématique.

Graphisme

Le graphisme devait coller à la thématique, j’ai donc repris les éléments classiques des enquêtes policières : le ruban jaune « Do not cross » censé baliser une scène de crime, la ruelle sombre en arrière-plan, le feuille froissée et tamponnée pour le rapport de police, la photo anthropomorphique pour les suspects, etc.

Je souhaitais également personnifier les protagonistes (objets de l’enquête et méthodes) pour les rendre plus réels, tangibles. Mes compétences en dessin étant inférieures à celle de mon fils de 4 ans, il était plus raisonnable de faire appel à quelqu’un de doué, et Melle Salt (allez voir son blog Sometimes, you’re the salt in my coffee), dessinatrice talentueuse et néanmoins discothécaire, a très gentiment accepté de donner corps et visages à ce projet.

Réalisation

Le poster m’a pris à peu près 15 jours en ne travaillant que la nuit (obligations professionnelles et familiales obligent), il a été réalisé avec Adobe InDesign.

Impressions

L’impression du poster a été confié au service Reprographie de l’Université de La Réunion. Ils ont fourni un super travail et ont su me conseiller pour le type de support. Le poster est imprimé sur une bâche, pratique pour le transport en avion et en mat pour éviter le reflet de la lumière, donc pour un meilleur confort de lecture.

Difficile d’évoquer des sites web sans voir à quoi ils ressemblent, 4 copies d’écran (2 pour le site web, 2 pour le résolveur) ont donc été imprimées sur papier A3 200gr pour accompagner le poster. Ils n’ont malheureusement pas pu être affichés, faute de place sur le panneau.

Le coût total de l’impression s’est élevé à 67€ TTC.

Crédits

Police de caractère : Chunkfive Roman

Image d’arrière-plan : 30 / 365 – Water Reflections by Night par Inspire Kelly – CC by

Papier : Texture 190411 par Chiaralily - CC by-nc

Icônes et illustrations :

• Social Media information Overload par Intersection Consulting – CC by-nc

• After this, I give up. Probably. par Iphwin - CC by

• Compass Black Icon par McDo Design

• Action Draw Spiral Icon par franksouza183

• Punaises

• Illustrations : Melle Salt – Tous droits réservés

Bibliographie

Vous trouverez des pistes bibliographiques sur ma page Zotero : Usability testing

Poster

Télécharger le poster JABES 2013 en version PDF au format A0 (3,55 Mo)

Broken-link Reports from SFX Users : How publishers, Vendors and Libraries Can Do Better

L’enquête étudie 432 liens brisés issus du résolveur de liens SFX entre l’automne 2007 et l’automne 2011. Lorsqu’un usager utilise SFX pour sa recherche d’articles en ligne et rencontre un lien brisé, il peut en avertir la bibliothèque via un formulaire pré-rempli.

Méthodologie

Tous les liens ont été entrés dans un fichier Excel avec le jour, la date et l’heure à laquelle le lien est rapporté, à quel moment la bibliothèque a répondu à l’usager,  les références de l’article, le bouquet de revues utilisé (SFX Target), la cause du lien brisé et si la bibliothèque a retrouvé le texte intégral demandé par l’usager. Deux bibliothécaires ont traité l’intégralité des demandes.

L’étude vise à déterminer quels bouquets proposent le plus de liens brisés, les causes et le temps moyen de réponse aux usagers.
D’après la littérature professionnelle, les raisons d’un lien brisé dans un résolveur de liens sont variées: données de l’URL source inexactes, données de l’URL source incomplètes, base de connaissance du résolveurs inexacte, erreur de traduction du résolveur, URL cible du résolveur incomplète, absence de lien au niveau de l’article, erreur de traduction par le fournisseur de l’URL cible, contenu du fournisseur incomplet, etc.

Sur les 432 liens brisés, 46 n’ont pas pu être reproduits et n’ont pas été intégrés à l’enquête.

Résultats

Ebsco Academic Search Premier et Wiley Online sont les cibles proposant le plus de liens brisés.
D’après les données recueillies, les 4 principales raisons des liens brisés sont :

• les articles non disponibles dans la cible : la plupart du temps, l’article n’est pas disponible chez le fournisseur ou l’éditeur. L’exactitude des données des éditeurs dans SFX en est le problème majeur. Il y a également des problèmes techniques : revue avec un embargo de 12 mois pour laquelle les articles arrivés à expiration ne sont toujours pas disponibles
• l’erreur d’index : données erronées pour l’issn, l’année de publication, le volume, le numéro ou la page
• l’absence de lien au niveau de l’article : concerne surtout le DOAJ. Beaucoup de revues du DOAJ ne proposent pas de liens structurés vers l’article. Le lien vers l’article renvoie en fait vers la page d’accueil de la revue, laissant penser que l’article n’est pas disponible
• les critiques de livre ou articles spéciaux dans les revues : ces articles existent dans les bouquets mais le résolveur est incapable de les lier correctement

Autres raisons des liens brisés

• articles issus de suppléments à un numéro : cela peut provenir d’une mauvaise numérotation ou pagination du supplément (l’ajout d’un S avant ou après la pagination peut poser des problèmes de traduction au résolveur). Il se peut aussi que le fournisseur ou l’éditeur n’inclut pas le supplément dans l’abonnement en ligne
• volumaison, numérotation et pagination erronées : les volumes en chiffre romain, les doubles numéros (1-2, 6-7) peuvent engendrer des erreurs
• certaines revues Wiley affichent deux dates de publication : la date de publication en ligne et la date officielle de publication. Les index utilisent les plus souvent la date officielle mais Google Scholar utilise parfois la date de publication en ligne qui induit en erreur le résolveur
• Le manque d’intuitivité des liens Texte intégral (« Get PDF ») : 46 cas de liens brisés renvoyaient bien vers le texte intégral. Ces cas concernaient principalement deux bases pour lesquelles on peut se demander si le lien vers le texte intégral est assez explicite
• erreur de DOI : lorsqu’une revue change de plateforme ou lorsque le DOI est incorrect cela entraine des erreurs. Cas d’une revue chez 2 éditeurs dont une année en commun. Le DOI renvoie vers un site d’éditeur alors que c’est un autre qui dispose de l’article en FT recherché
• Volumes ou articles manquants : certains numéros ou volumes sont totalement manquants chez l’éditeur alors que des numéros plus récents de la même revue sont disponibles. Le résolveur envoie inévitablement un lien brisé dans ce cas

Les bibliothécaires ont répondu aux 432 mails prévenant de liens brisés et ont envoyé 276 articles en texte intégral. Pour ceux réellement indisponibles, les bibliothécaires ont du présenter des excuses et proposer le prêt entre bibliothèque.
L’étude montre également que les mails sont envoyés plutôt le soir, le week-end et les vacances que durant les horaires d’ouverture de la bibliothèque.

Analyses

Les liens brisés s’expliquent par de nombreuses raisons, la qualité des listes de titres fournies par les éditeurs est souvent montrée du doigt par la littérature professionnelle. La différence provient de la stabilité des listes (Ebsco Academic Search Premie vs JSTOR). Le résultat est simple : le texte intégral ne se trouve pas dans la base indiquée par le résolveur. Les éditeurs doivent continuer d’améliorer la qualité de leurs listes.
L’usage plus fréquent des DOI pourrait résoudre le problème des volumaisons/numérotations erronées ou des suppléments, seulement s’ils renvoient vers le site de l’éditeur ou CrossRef. Cela ne fonctionnera pas avec des bases de données agrégées type Jstor ou Ebsco Academic Search Premier.
Les résolveurs de liens sont probablement une des plus importantes inventions des 10-15 dernières années dans les bibliothèques. Ils ont transformé la manière d’accéder à l’information en ligne. Les liens brisés restent, cependant, un problème majeur. Les producteurs de résolveurs devraient trouver des moyens de mieux gérer ces difficultés techniques : volumaisons/numérotations, description des suppléments, question des numéros sous embargo, problème des DOI et la double date de publications sur le site des éditeurs.

 Crédit photo : Freedom / drp / CC-by-nc-nd

J’aime les utiliser, les décortiquer, les mixer pour construire des plans d’évaluation ambitieux (par exemple sur les extensions des horaires d’ouverture ou le service de renseignement en ligne 1, 2, 3).

J’aime surtout essayer de nouvelles méthodes. Je travaille depuis quelques mois sur une méthode dont on entend peu parler en France, a fortiori, dans les bibliothèques françaises alors qu’elle est solidement implantée dans les bibliothèques nord-américaines. Il s’agit du test d’utilisabilité.

Une enquête basée sur ces tests est en cours dans les BU de La Réunion ; les premiers résultats devraient émerger d’ici quelques semaines. Nous espérons améliorer les outils testés (site web et résolveur de liens), appliquer la méthode à tous les outils numériques que nous proposons et l’inscrire dans tous les futurs développements.

Une récente visite à la cellule Formation continue de l’ENSSIB m’a donné l’occasion de transformer cette expérience en opportunité de formation (j’en profite pour remercier Armelle de Boisse et Bertrand Calenge). Compte-tenu de l’éloignement géographique, le format Formation à distance s’imposait et, n’ayant jamais pratiqué, c’était aussi une chance de le découvrir.

Le stage « Améliorer vos outils numériques avec l’utilisabilité » est une introduction à la méthode des tests d’utilisabilité et de leur application pratique sur le terrain. La durée se veut relativement courte (2 heures) à utiliser à votre rythme entre le 3 et le 16 juin 2013. La formation alterne présentations vidéo et exercices permettant de transmettre les connaissances nécessaires tout en évitant le cours magistral sur écran. L’interactivité sera assurée par des plages d’échanges sur le forum de la formation (ou via réseaux sociaux).

Si vous venez de sortir votre site, votre catalogue, votre bibliothèque numérique ou votre archive ouverte, si vous avez un projet de refonte, si votre public boude vos outils, si vous en êtes mécontents, si vos usagers le valent bien … inscrivez-vous !

PS : ne prenez pas ce titre putassier au pied à la lettre. L’utilisabilité vous aidera, tout au plus, à rendre vos outils moins craignos et c’est déjà beaucoup.

Crédit photo : Usability / Mushon / CC-by-nc-sa

Pour rappel, Libqual est un protocole d’enquête qui s’adresse aux bibliothèques universitaires ou de recherche et qui vise à mesurer la qualité des services.

Parmi les questions signalétiques qui serviront à mesure la représentativité de l’échantillon par rapport à la population-cible, on trouve la discipline des répondants et le statut (étudiant de première année, doctorant, enseignant-chercheur, etc.).

Le répondant peut choisir sa discipline parmi une liste personnalisée par l’établissement. Cela permet de ne proposer que les disciplines enseignées dans cette université ou de développer une branche disciplinaire en sous-catégories pour mieux représenter sa diversité. Chaque modalité de réponse créée ou modifiée reste liée à une modalité initiale qui autorisera l’agrégation des résultats et les comparaisons entre établissements ou pays.

Cette personnalisation n’était pas possible avec le statut, ce qui s’avérait délicat lors de l’implantation de l’enquête dans d’autres systèmes éducatifs Les différents items correspondaient surtout à la réalité nord-américaine (distinction undergraduate/graduate). Si la traduction de 2007 a permis d’élargir ces statuts aux contextes français et suisse, le manque de souplesse de cette question restait un problème important.

C’est donc chose faite, comme pour la discipline, il sera possible de customiser les statuts avant de lancer l’enquête.

Crédit photo : Coucou ! – Gadl – CC by-sa

Beth Wortman, Digital Literacy Librarian, Edmonton Public Library (Canada)
Carla Haug, 21st century Library Spaces Librarian, Edmonton Public Library (Canada

Contexte

L’impact des technologies, exemple de la bibliothèque Fisher-Watkins de la Cushing Academy (établissement privé) passée au tout-électronique, sans aucun livre. Plusieurs bibliothèques ont annoncé le passage au tout-électronique (bibliothèque d’école en Ontario). La bibliothèque Santé de l’Université John Hopkins avait annoncé un projet similaire en 2011 mais a du reconsidérer leur position.

La New York Public Library devait entreprendre d’importants aménagements de leurs espaces, ce qui impliquait la relocalisation d’une partie de leurs collections en accès indirect (dans un magasin à plusieurs kilomètres) et la multiplication des ordinateurs et des espaces type cafés dans la bibliothèque. Ce projet rencontra une forte opposition de la part des usagers et un puissant relais médiatique.

Est-il judicieux de vouloir faire ressembler les bibliothèques à des Starbuck, des cybercafés ou des centres communautaires ?

Stage sur les espaces de la bibliothèque du 21ème siècle

Le point de départ du projet est la notion d’espace public et sa transformation actuelle.

Deux bibliothécaires-stagiaires ont travaillé pendant 1 an à les bibliothèques publiques d’Edmonton avec pour objectif de comprendre comment les usagers utilisent les espaces (objectif) ; le but stratégique étant “nous créons des espaces virtuels et physiques ouverts, sûrs et inspirants”

Il existe beaucoup d’avis, provenant d’autorités en la matière, sur ce que devrait être les espaces d’une bibliothèque. Mais priorité d’orienter la recherche sur le public local, approche ethnographique : enquêter sur ce qu’ils font dans les espaces.

4 questions pour comprendre les usagers

• que font les usagers dans les espaces d’EPL (Edmonton Public Library) ? (qui sont-ils ? quand viennent-ils ? quelles activités ?)

• Comment voudraient-ils utiliser les espaces ? leur donner la parole, enregistrer leurs réponses (qu’aiment-ils dans les espaces ? que désapprouvent-ils ?)

• quelles sont les tendances actuelles et futures en matières d’espace de bibliothèque et d’activité d’usagers ? (en se basant sur l’expérience des autres bibliothèques, qu’est-il possible d’essayer ?)

• Comment faire converger, au mieux, espaces et besoins des usagers ? (faire des recommandations)

Méthode

Mix de méthodes :

1. observation (seating sweeps ou behavioural mapping). Observation dans toutes les annexes de l’EPL : 3 fois par jour pendant 3 jours dans chaque annexe, elles se sont baladées dans tous les espaces publics de la bibliothèque en notant qui était présent, ce qu’ils faisaient, quels équipements étaient utilisés. En quelque sorte, une photo à longue durée d’exposition des usagers

2. Parler aux usagers (et au personnel) : questionnaires, entretiens, incitation à faire des photos, inventaires de site.

   • questions sur le background des usagers, sur leur visite à la bibliothèque
   • visites aux annexes pour introduire l’enquête. Questions au personnel : ce qui fonctionne et ce qui ne fonctionne pas pour les usagers.

3. État de l’art : pour relever les tendances dans le monde

Résultats de l’enquête

Qui sont-ils ?

D’après les observations :

9834 individus [note perso : méthode basée sur l’observation donc pas déclarative ; catégories de représentations très larges, non-scientifiques] : adulte, jeune adulte, ado, enfant scolarisé, personne âgée.

Beaucoup étaient en groupe : circulant dans la bibliothèque, enregistrant leurs emprunts, installés à un ordinateur (40%).

D’après les questionnaires : 1517 répondants (66% de femmes), pour raisons légales, elles n’ont pas pu recueillir l’avis des moins de 18 ans ce qui a posé problème pour l’analyse des résultats.

Que font-ils ?

D’après les 13567 activités observées :

• 24% parlaient à d’autres personnes
• 15.8% sur un ordinateur
• 14.6% circulant
• 9.5% lisant
• 4.4% interagissant avec le personnel

L’importance de chaque activité varie en fonction du sous-groupe étudié. Si parler à d’autres personnes est l’activité principale des moins de 35 ans, pour les 35-60 ans, c’est le feuilletage et lire pour les plus de 60 ans.

En se focalisant sur l’utilisation des ordinateurs (2287 observations), on remarque que la première activité est consulter des sites web (28%), puis utiliser Facebook (22.4%), jouer (19.2%),  regarder des vidéos (12.1%) et lire ses mails (8.6%). L’utilisation des ressources de la bibliothèque arrive après avec 4.3% et en dernier utiliser la suite OpenOffice.

La répartition des activités Ordinateurs montre que Facebook est surtout utilisé par les ado et jeunes adultes, le jeu par les pré-scolaires, les enfants et les ados (mais le jeu est présent dans toutes les catégories d’âge). Les ressources de la bibliothèque sont utilisées par les plus jeunes et les plus âgés.

que déclarent-ils faire ?

cette question ne porte que sur les répondants à l’enquête, c’est à dire les plus de 18 ans. Ceci explique en partie pourquoi les résultats sont si éloignés des activités observés :

• emprunter/rendre des documents 87%
• chercher des documents 62%
• trouver un document en particulier 45%
• utiliser les ordinateurs 32%

qu’apprécient-ils dans les espaces ?

(données issues des entretiens)

• accès aux collections tout supports confondus
• accès aux ordinateurs et internet
• espaces dédiés aux enfants
• confort et esthétique
• espaces calmes
• espaces de groupe et de socialisation

que désapprouvent-ils?

• accessibilité des collections (notamment pour les réservations), problème avec les portes et les escaliers
• manque de flexibilité des espaces (ils veulent des place calmes ET des connexions pour les ordinateurs portables)
• bruit
• esthétique, manque de fenêtres, peu d’œuvres d’art dans les locaux

Qu’attendent-ils de nous ?

• de la flexibilité (mobilier amovible, accès aux branchements, large allées, des espaces et des collections accessibles)

• de la technologie (espaces tech-friendly, accès continu surtout pour le wifi, des espaces pour le jeu)

• des collections (accès continu aux collections, des collections enrichies et une organisation des collections compréhensible)

• du zonage (zone calme, zone social, zone Technologies)

Ils veulent surtout des espaces. Les espaces SONT un service public, les espaces sont un service tout court

L’enregistrement de l’intervention est disponible sur le site Lib 2.012

Sherry Crow, Assistant Professor (University of Nebraska – Kearney)

Jennifer Robins, Associate Professor (University of Central Missouri)

Le jeu comme outil d’apprentissage

Le jeu est un puissant outil d’apprentissage et nous avons tendance à l’oublier car les tests et la préparation aux tests (système américain de validation des connaissances) occupent un temps de plus en plus important. Le jeu a mauvaise presse à l’école (bruyant, perturbateur) mais une branche de la psychologie (la psychologie positive) valorise le jeu en ce qu’il participe à notre bonheur.

Individuel ou en groupe, le jeu est une tentative volontaire pour surmonter des obstacles.

Les 4 composants d’un jeu sont la participation volontaire (personne ne peut/doit nous forcer à jouer), les objectifs (pour soi-même, fixé à l’avance ou changeant. Le groupe doit décider des objectifs et ne doit pas trop en changer), les règles du jeu (idem que pour les objectifs) et le système de rétribution du jeu.

L’un des plus puissants avantages du jeu est lié à son état émotionnel : l’entrain (playfulness). L’entrain est dynamique, interactif, imaginatif, ouvert d’esprit, transformatif. Il est lié à la capacité à répondre à des situations inconnues, à résoudre de nouveaux problèmes. Il produit du plaisir et est un élément essentiel d’une vie heureuse. Le jeu prépare les apprenants du 21e siècle où il faut savoir apprendre rapidement et correctement et collaborer. Durant un jeu, il faut penser, à la fois, de manière stratégique, linéaire, latérale et logique.

L’essence de l’apprentissage est de préparer l’esprit à apprendre. L’apprentissage est également un processus social et culturel. Lorsqu’on joue, même l’échec est une expérience d’apprentissage qui peut être amusante, qui stimule la créativité et l’imagination. Dans un jeu, quand l’échec est transformé en créativité et en réussite, la dimension négative de l’échec n’est plus présente.

Des études montrent que l’entrain dispose de qualité cognitive comme la spontanéité, le rêve (fantasy) et l’ingénuité. Le jeu produit également de la conceptualisation (ideation). La conceptualisation est la capacité de produire de nouvelles idées ou d’établir des connexions entre elles, de créer du confort avec du chaos et de la complexité. Tout ceci faisant partie du processus créatif.

Chacun dispose de connaissances tacites (tacit knowledge) qu’il ne peut transmettre facilement par écrit ou par verbalisation. Ces connaissances sont construites et transmises par le jeu. Le jeu aide les élèves à apprendre à communiquer (opportunité pour des interactions sociales enjouées, apprentissage de comment se comporter avec les autres dans le monde physique et virtuel).

Auto-détermination, motivation et jeu (étude de J. Robins et S. Crow)

La théorie de l’auto-détermination (Self-determination theory SDT) est une approche de la motivation compréhensive : quelle conception pour les environnements qui encourageront la motivation des individus. La théorie identifie 3 éléments qui encourageront la motivation :

• l’autonomie (faire quelque chose par soi-même, dans le sens d’engagement),

• la compétence (compétences perçues par nous mêmes, si nous ne nous sentons pas compétent pour faire quelque chose, nous aurons moins tendance à essayer de le faire)

• et la proximité (relatedness)

Le jeu, par nature, encourage ces trois éléments

Enquête auprès d’élèves de grade 5 (équivalent à CM2) à l’automne 2008.

Question centrale de l’enquête : quelles expériences dans la vie des élèves ont encouragé la motivation intrinsèque pour la recherche d’information ?

Enquête administrée pour déterminer qui, parmi les élèves, possédait une motivation personnelle très développée pour la recherche d’information. Méthodes : entretiens avec les élèves, conversations de suivi avec parents, élèves, enseignants et une activité de dessin

Les résultats de l’enquête montrent que les élèves ont

• une affinité pour le jeu. 1ère question qui leur était posée : qu’est ce qui fait une bonne journée pour toi ? presque tous les élèves ont mentionné le jeu et très peu l’école

• une propension à la créativité : analyse de leurs dessins par leurs enseignants à la recherche de certains éléments, la créativité intervient dans 88% des cas selon eux

• un manque d’esprit de compétition : les élèves déclarent participer à des activités compétitives pour le fun ou pour améliorer leurs propres capacités et aucune mention de la compétition entre eux

Revenons sur les 3 éléments qui encouragent la motivation :

Autonomie : dans un monde d’adultes, le jeu est perçu par les enfants comme une manière de s’exprimer par eux-même, un temps d’autonomie durant lequel ils peuvent mener leurs propres actions.

Compétence : le jeu permet aux enfants de mettre en pratique de nouvelles compétences dans un environnement confortable, sans crainte de l’échec.

Proximité : le jeu coopératif est une étape majeur intervenant durant le milieu de l’enfance, les élèves s’y consacrent pour développer l’identité de groupe et leurs capacités de coopération. Tous les élèves de l’étude ont vécu une expérience de jeu en groupe avec des amis ou de la famille. Le sens de l’humour est une caractéristique prédominante dans le groupe d’enfants et une considération majeure dans le choix des amis, des livres, des enseignant(e)s préféré(e)s ou des films.

Quelles applications en bibliothèque ?

storytelling :  traditionnellement utilisé en bibliothèque pour l’heure du conte, il peut aussi être utilisé lors de formations grâce à une scénarisation efficace.

Questing (chasse au trésor, le trésor étant l’information) : la technologie a produit tant d’outils qu’ils réduisent les efforts cognitifs mis en œuvre dans une recherche. Mais, à la place, la navigation prend la place centrale dans la recherche d’information. La navigation est une forme d’évaluation, pas juste pour déterminer si l’information est crédible et si la source fait autorité mais surtout pour déterminer si l’information trouvé est la meilleure réponse apportée en fonction des documents en main, du temps disponible, de l’attention, et des intérêts.

Gaming : selon Marc Prenski, les joueurs de jeux vidéo

• sont doués pour résoudre les problèmes en groupe (exemple avec les guildes dans les MMORPG)

• sont engagés dans une certaine excellence professionnelle

• ont une puissante perception de leurs compétences

• voient le monde à travers le monde de la compétition (mais d’abord compétition contre eux-mêmes)

• développent le travail d’équipe et le désir de travailler au sein d’un groupe (construisent et utilisent beaucoup les outils de communication : forum, wiki, etc.)

• se préoccupent de leur organisation

• adorent les données et garder une trace de ce qu’ils font

• prennent des risques mesurés

• sont multi-tâches

• apprennent sur le tas

• pensent globalement

Durant la séances de questions/réponses, plusieurs exemples de jeux collaboratifs pouvant être utilisés en bibliothèque furent cités comme les Lego et surtout Minecraft (“virtual Lego”).

Crédits photos : Kids playing / SanShoot / CC by-nd ; gaming in de bieb febr 2009 001 / Bibliotheken Eemland / CC by-nc

Cette année encore, les chiffres sont impressionnants : 40 heures consécutives de conférences (3-5 octobre), 11 keynotes avec des poids-lourds comme Stephen Abram (Stephen’s Lighthouse, @sabram), Michael Stephens (Tame The Web, @mstephens7) ou David R. Lankes (Virtual Dave… Real Blog, @rdlankes) , 150 présentations du monde entier (mais principalement des États-Unis donc en anglais et oh! surprise aucune conférence française ou même francophone).
Côté présentations, c’est l’orgie, il y en a pour tous les goûts : médias sociaux, littératie, évaluation, gamification, nouvelles tendances, e-books, open access, bibliothécaire embarqué. Et si vous ne pouvez pas assister à la présentation en direct, tout est enregistré et disponible quelques heures après, sur le site !

Library 2.012 est organisée par l’École de Sciences de l’information et des bibliothèques de l’Université d’État de San José (SLIS San José State University). Hum, une école supérieure des bibliothèques qui organise une conférence internationale totalement en ligne et totalement gratuite, c’est donc possible, ce n’est pas qu’un rêve…

En 2011, j’avais assisté à quelques ateliers pour lesquels j’avais rédigé des comptes-rendus : Utiliser les données des enquêtes pour améliorer les ressources et les services aux étudiants à distance, Debout ! grâce aux sondages, aux enquêtes et aux canaux alternatifs, Utiliser l’intelligence artificielle et les agents virtuels pour améliorer les services de renseignement en bibliothèques, Escouade B : premier serious game des bibliothèques de Montréal. J’essaierai de faire la même chose cette année.

crédit photo : Covered by Fun at The Color Run, Jorge Quinteros, by-nc-nd

L’Université de Karlstad compte actuellement 12.000 étudiants pour 1.000 personnels (approximativement la même taille que l’Université de la Réunion). La bibliothèque universitaire se situe sur un site (+ une bibliothèque dans une école de musique), 25 bibliothécaires y travaillent.

Pour en savoir un peu plus sur l’Université et la BU de Karlstad, vous pouvez visionner le diaporama ci-dessous (en anglais), gentiment prêté par Linda.

J’ai beaucoup apprécié ce stage, les échanges ont été nombreux et j’ai appris énormément de choses sur le fonctionnement des bibliothèques suédoises. Cela m’a permis également de massacrer pratiquer l’anglais professionnel en dehors de la seule lecture d’articles. Je vous livre en vrac quelques infos sur leur manière de travailler.

Le directeur de la BU est vice-président chargé de la bibliothèque au même niveau que les autres VP, il n’est pas bibliothécaire et côtoie directement le président. C’est donc plus facile pour faire bouger les lignes ou faire passer des projets auprès des enseignants. Apparemment, il laisse beaucoup d’autonomie sur l’opérationnel aux 3 responsables de la BU et gère plutôt les grandes orientations de l’établissement.

L’équipe est composée de 2-3 acquéreurs pour l’ensemble des disciplines, une dizaine de bibliothécaires-référents (Subject librarians) comme Linda et environ 1.5 ETP pour le catalogage. Les bibliothécaires-référents est un particularité de la conception anglo-saxonne du métier, ils n’acquièrent pas vraiment mais sont l’interface entre la bibliothèque, les enseignants et les étudiants. Ils font du service publique, des  formations pour lesquelles ils créent des supports (tutoriels vidéo via Camtasia, diaporamas, etc.) et ils s’attachent à bien connaître leur secteur documentaire, ce qui n’est pas évident lorsqu’on ne fait pas d’acquisition.

La BU est récente et ne dispose pas de magasin, j’ai l’impression qu’il n’y a pas d’espaces réservés aux professionnels, tous les bureaux donnent dans les espaces publics. Ils ont récemment mis en place une politique documentaire 0% d’accroissement, ils ont donc énormément désherbé en peu de temps, sans pouvoir proposer les livres à la vente. Cette nouvelle politique a un peu fait grincer les dents des enseignants surtout dans les disciplines où l’âge des collections n’est pas un critère déterminant (histoire par exemple). Mais la position de VP du directeur lui a donné assez de poids pour que ce changement ne soit pas remis en cause.

Questions pénalités et politiques tarifaires, ce ne sont pas des tendres. Une pénalité de retard coûte 2€ (pas de pénalités pour les enseignants). Le forfait pour la perte d’un livre est de 70€ (plafonné à 150€), si le livre est retrouvé, le montant baisse à 20€ (un peu comme des frais de dossier). Au bout de trois relances pour livre non rendu, ils transfèrent le dossier à une société de recouvrement ! non, ils ne rigolent pas avec leur doc.

Leur politique de prêt est étrange et pas toujours commode à mettre en œuvre selon l’aveu de Linda. Les étudiants empruntent pour 60 jours (120 jours pour les profs), si le livre est réservé durant la période de prêt alors la durée passe à 14 jours. Si l’étudiant a dépassé ce délai, il doit rendre le livre immédiatement, ce qui pose régulièrement des problèmes pour les récupérer dans les temps.

Certains problèmes de bibliothécaires sont universels, les relations avec les enseignants par exemple. Pas de miracle en Suède, ils rencontrent aussi beaucoup de difficultés à travailler de manière étroite et régulière avec les enseignants. Certains ont une longue et fructueuse relation avec un bibliothécaire en particulier et sont donc très présents (gestion des fonds, formation, etc.), d’autres ne mettent jamais les pieds à la BU.

Enfin sur les salaires, il n’y a pas de grille d’indices nationale comme ici. Chaque année, la direction de l’Université et les syndicats négocient un montant global qui sera ensuite réparti entre les différentes composantes. Le personnel négocie individuellement avec leur hiérarchie en fonction de l’ancienneté, des responsabilités au sein de l’établissement et des compétences de l’agent. Cela dit, il est rare qu’une négociation se fasse à la baisse suite à une diminution des responsabilités par exemple.

Contexte

Achat à l’automne 2010 de 10 ipads par le service des Technologies et des Systèmes d’Information pour aider les formateurs. A l’issue du projet, la bibliothèque a conservé les ipads. Fin 2010, les bibliothécaires pouvaient utiliser les ipads pour des projets en lien avec l’enseignement ou un projet professionnel. Le bibliothécaire responsable de l’évaluation et le vice-doyen de la bibliothèque ont proposé leur utilisation pour une évaluation “guérilla” (guerilla-style assessment) : entrer en contact avec des sujets potentiels, les surprendre avec une enquête en ligne à remplir sur place. La première évaluation “sur le vif”  a démarré début 2011.

GSU cherche continuellement de nouveaux moyens d’évaluer les perceptions, préférences et satisfaction de ses étudiants. L’identification des besoins et l’idée de ce type d’évaluation a précédé l’utilisation des ipads.

L’évaluation dans l’enseignement supérieur, surtout dans les bibliothèques est un challenge continuel. Les bibliothèques peuvent mesurer le nombre de hit sur le site web, les statistiques d’usage des base de données, les chiffres de circulation, les compteur d’entrée, le nombre de questions posées. Ces données montrent assez peu, comment et dans quelle mesure la bibliothèque impacte l’apprentissage, l’enseignement et le savoir. En ces temps de restrictions budgétaires, on demande aux bibliothèques de fournir plus de données  sur leur impact et leur pertinence.

L’un des défis majeurs est le choix de la bonne méthodologie. Les grandes enquêtes valent le coup mais développer et tester le questionnaire, analyser les résultats peut être très chronophage pour les enquêteurs. Réalisées trop fréquemment, les enquêtes peuvent laisser un sentiment de fatigue pour les usagers et les enquêteurs pourraient obtenir un faible taux de réponses. Les enquêtes administrées sur papier ou en ligne sont faciles à ignorer ou supprimer. Les focus groups et les entretiens individuels sont compliqués à planifier particulièrement pour les étudiants les plus occupés, et peuvent s’avérer très prenantes pour les enquêteurs. Les bibliothèques de GSU espèrent répondre à ces défis en proposant un nouvel outil, mobile et utile (l’ipad) dans la boîte à outil de l’évaluateur.

Bénéfices

Les enquêteurs ont construit une étude-pilote (sur des bases non scientifiques) pour tester la viabilité de l’iPad (un bloc-note numérique) en tant qu’outil de recueil de données. L’iPad représente une nouvelle approche du recueil de données pour les enquêteurs avec trois principaux bénéfices par rapport aux méthodes traditionnelles d’évaluation comme les enquêtes en ligne, ou les sondages papier en face à face.

Le premier bénéfice est la nouveauté et l’attraction de l’outil qui pourraient encourager l’intérêt des étudiants pour l’enquête. L’aspect tactile et le contact direct avec l’outil sont supposés plonger l’enquêté dans le processus de recueil de données d’autant plus si l’enquête est brève et ciblée.

Le deuxième bénéfice est la portabilité et la légèreté de l’outil qui peuvent accentuer le côté “homme de la rue” (man on the street). On suppose que la portabilité de l’ipad permettra à l’enquêteur de rencontrer les usagers là où ils se rassemblent naturellement, en comparaison de l’envoi passif de questionnaires en ligne ou des tentatives de planifier un rendez-vous. L’iPad a un avantage par rapport au téléphone ou aux autres terminaux mobiles, c’est la taille de l’écran, plus large tout en restant portable, permettant d’afficher plus de contenus et d’interagir avec les usagers.

Enfin, le logiciel utilisé avec l’iPad compilera les données automatiquement de manière plus efficace pour les enquêteurs. Il était important que la solution ou l’application retenue soit assez intuitive pour l’enquêté tout en proposant assez de flexibilité, d’options et d’utilité pour les enquêteurs.

Méthodologie de la première enquête

Test pilote pour les enquêtes par iPad, 2 questions : 1ère : « Pour quelle raison êtes-vous venu à la bibliothèque aujourd’hui ? veuillez nous donner la raison principale ». 10 modalités de réponses par ordre alphabétique, une seule réponse possible.

• assister à une session de formation dans l’une des salles
• emprunter un livre, un pc portable, un dvd, un document réservé
• obtenir de l’aide d’un bibliothécaire
• se rendre au Coffee Shop
• rejoindre un groupe de travail
• étudier seul
• utiliser un ordinateur pour facebook, les emails, etc.
• utiliser un ordinateur pour une recherche ou un devoir
• utiliser la photocopieur ou l’imprimante
• autre (+ champ libre)

La bibliothèque est très utilisée par les étudiants, mais la direction n’a aucune donnée sur ce que les usagers font dans les murs.

La 2ème question était “quelle est votre matière principale [major]” accompagnée d’un champ de texte  libre. Cette info est comparée aux données recueillies, entre autres infos démographiques, lors de l’entrée (portique avec présentation de la carte d’étudiant). Cela permet de comparer la représentativité de l’échantillon à la population fréquentante.

Les enquêteurs souhaitaient connaître le meilleur format pour la passation du questionnaire. La première version a été conçue à partir de Google Forms, choisi en raison de sa gratuité et de la recommandation de collègue. La seconde version a été conçue avec PollDaddy (sur iOS), l’une des rares application d’enquêtes gratuites et complètes disponible sur l’iTunes Store.

Les deux programmes nécessitaient la création d’un compte gratuit sur leur site respectif en créant un login unique + mot de passe et en fournissant une adresse email. GForms liste 7 types de questions dont choix multiple avec 1 réponse, choix multiple avec plusieurs réponses, échelle de notation. L’outil est basé sur un tableur, avec une limite de 400 000 cellules pour chaque feuille. Les réponses à l’enquête peuvent être visualisées et analysées en s’identifiant avec le compte Google.

PollDaddy propose comme type de questions : champ de texte, choix multiple avec une ou plusieurs réponses, échelle de notation, et plusieurs champs de texte pour des données telles que le nom ou l’adresse. Spécialisé dans l’enquête et le sondage, PollDaddy offre peu d’options avancées. La grille tarifaire est basée sur le nombre d’enquêtes et de réponses par enquête. Le compte gratuit fut choisi car il permettait de proposer jusqu’à 10 questions et 100 réponses par mois. Comme GForms, les résultats sont accessibles et analysables via login/mot de passe.

Le bibliothécaire responsable a surnommé le projet “Guerrilla Style assessment”. Il se promenait dans le bâtiment approximativement 20 minutes chaque jour (entre 9h et 16h) pendant 5 jours et demandait individuellement de compléter le questionnaire. A la fin de la période, 100 étudiants furent approchés pour 93 questionnaires remplis ; le bibliothécaire alternait entre GForms et PollDaddy. Cette méthodologie n’était pas scientifique. La sélection des participants était biaisée et basée sur les étudiants présents dans les salles les plus occupés de la bibliothèque sans prendre en compte les salles de travail silencieux (plus compliqué de déranger les étudiants). De plus, le bibliothécaire a administré l’enquête durant ses heures de travail donc hors soirées et week-end.

Résultats de la première étude

La version iOS de PollDaddy était un choix judicieux pour ce type d’évaluation. Le design est optimisé pour l’écran de l’iPad et les résultats sont téléchargeables offline (l’enquêteur avait plus de liberté pour faire remplir le questionnaire). Une fois les résultats collectés, l’application propose leur chargement en un clic vers le compte PollDaddy où une connexion internet est requise.

La limite des 100 réponses par mois peut constituer un inconvénient. Pas forcément pour l’étude-pilote mais cela pourrait devenir problématique avec des enquêtes simultanées. Le compte gratuit ne permet pas également l’export des résultats. Décevant mais pas bloquant pour une brève enquête.

Quelques problème d’affichage sur l’iPad avec PollDaddy : scrolling sans indication ou item coupé.

GForms a également bien fonctionné. Un formulaire via site web permet de zoomer pour améliorer la lisibilité. Le principal inconvénient est qu’il ne permet pas le recueil de données offline. Un usager doit être connecté pour remplir le questionnaire. Réseau wifi surchargé durant certaines périodes de la journée et signal perdu à certaines occasions.

Résultat  : 1er usage des étudiants : étudier par soi-même. Derniers : emprunter, obtenir de l’aide, attendre une formation (0 réponse)

Méthodologie et résultats de la deuxième enquête

Deuxième enquête-pilote sur la satisfaction des usagers, cette fois. Question unique : « Recommandriez-vous la bibliothèque à vos amis ? » échelle de Likert de 10 niveaux de “pas du tout” à “tout à fait”. Les réponses entre 1 et 7 entrainaient une autre question “Comment la bibliothèque peut-elle s’améliorer pour que votre vote s’approche de 10 ?” Cette question filtre n’était pas disponible sur GForms ou PollDaddy mais l’était sur Zoomerang.

La méthodologie était presque la même que pour le premier test (le bibliothécaire se baladait durant 20 minutes, 5 jours sur 7 entre 8h et 14h). 66 étudiants sollicités, 59 réponses. Moyenne de la première question 8.51. Neuf suggestions d’amélioration (amélioration du réseau wifi, plus d’ordinateurs et plus d’aide pour trouver des trucs).

Discussions et idées pour les projets futurs.

Les résultats des deux études montrent que la portabilité et le côté user-friendly de l’iPad en font un outil idéal pour l’évaluation guérilla (compléter l’enquête en attendant  ou dans ascenseur). Seulement 4 étudiants ont demandé comment fonctionnait l’iPad. La majorité touche intuitivement l’écran et trouve ce qu’il faut faire.

Les étudiants n’ont pas semblé ennuyés par les sollicitations pour l’enquête, cela peut venir d’un « iPad factor » (en plus du coté bref). L’iPad a attisé la curiosité des étudiants et a indirectement servi d’incentive pour participer à l’enquête. Les étudiants posait des questions dessus et voulaient parler de leur propre expérience avec les tablettes ou de leur souhait d’en acquérir.

Compte tenu des résultats des enquêtes-pilotes, la bibliothèque continuera à utiliser les iPad pour des évaluations brèves et ciblées. GForms sera utilisé lorsque l’enquête nécessitera beaucoup de réponses. PollDaddy sera utilisé quand les enquêtes seront courtes, lorsqu’il y aura des problèmes de connexion à internet. Lorsque des fonctionnalités avancées seront nécessaires, Zoomerang sera choisi.

Les prochaines études prévues :

• tests d’utilisabilité et analyses de préférence pour le nouveau site mobile et le site web du département des collections spéciales et des archives (utilisation d’Usabilla, application de test d’utilisabilité qui génère des heat maps à partir de l’activité des utilisateurs sur les pages)
• enquête auprès des primo-arrivants lors de l’orientation des nouveaux étudiants
• enquête sur les usages et préférences en matière de média sociaux pour déterminer le type de présence en ligne de la bibliothèque
• enquête auprès des usagers et non-usagers directement dans les départements
• étude confirmatoire des enquêtes longues et des focus groups
• utilisation de l’enregistrement audio lors d’entretien (recherches ethnographiques)

L’ENSSIB m’a demandé d’intervenir dans le cadre de la formation « Évaluer les services sur place et à distance » (module 1, module 2). L’idée était de rendre compte des différentes expérimentations que j’ai pu mener à Angers ou St Denis.

Comme je n’aime pas trop faire encore et toujours la même formation, j’ai choisi comme angle d’attaque le doute, la problématique, les questions qui se posent à nous lorsqu’on essaye de créer, gérer ou améliorer un service en bibliothèque. Ce doute doit servir de moteur à l’enquête, nourrir la réflexion et baliser la construction du plan d’évaluation.

Parmi toutes les évaluations auxquelles j’ai pu participer, j’en ai choisi trois. Pas forcément les plus importantes mais celles qui m’ont le plus marqué, celles qui ont forgé mon expérience dans le domaine, celles qui m’ont permis de découvrir de nouvelles méthodes. Les résultats ne sont pas toujours au rendez-vous mais on apprend aussi beaucoup d’une évaluation ratée.

La première expérience concerne le projet de prêt de liseuses à l’Université d’Angers ; le deuxième, l’extension des horaires d’ouverture dans le même SCD (projet abordé à différentes reprises sur ce blog : Extension du domaine des horaires d’ouverture 1, 2, 3).
La troisième expérience est un projet en cours, entamé en décembre 2011 et qui devrait produire ses premiers résultats en juin 2012, il s’agit d’une évaluation de l’utilisabilité d’un ensemble d’outils numériques (site web, catalogue, moteur de recherche fédérée et résolveur de liens) mis à la disposition du publique depuis février dernier. J’aurai l’occasion de revenir sur cette enquête et les méthodes qui la sous-tendent prochainement.
Vous trouverez le récit de ma formation, ce que j’ai pu raconter à chaque diapo, en téléchargeant le fichier (odp, LibreOffice) et en consultant l’onglet Notes.