Skip to content

[Notes de lecture] Si, un jour, vous ne savez plus quoi faire de vos iPads en bibliothèque…

Posté dans Enquêtes, Saines lectures.

Aucun commentaire

Par nicoAsLi – 23 avril 2012

Assessment on the Go : Surveying Students With an iPad (Digital Archive @ GSU, University Library Faculty Publications, 11 avril 2011). Merci aux auteurs Jennifer Link Jones et Bryan Sinclair (Georgia State University).

Contexte

Achat à l’automne 2010 de 10 ipads par le service des Technologies et des Systèmes d’Information pour aider les formateurs. A l’issue du projet, la bibliothèque a conservé les ipads. Fin 2010, les bibliothécaires pouvaient utiliser les ipads pour des projets en lien avec l’enseignement ou un projet professionnel. Le bibliothécaire responsable de l’évaluation et le vice-doyen de la bibliothèque ont proposé leur utilisation pour une évaluation “guérilla” (guerilla-style assessment) : entrer en contact avec des sujets potentiels, les surprendre avec une enquête en ligne à remplir sur place. La première évaluation “sur le vif”  a démarré début 2011.

GSU cherche continuellement de nouveaux moyens d’évaluer les perceptions, préférences et satisfaction de ses étudiants. L’identification des besoins et l’idée de ce type d’évaluation a précédé l’utilisation des ipads.

L’évaluation dans l’enseignement supérieur, surtout dans les bibliothèques est un challenge continuel. Les bibliothèques peuvent mesurer le nombre de hit sur le site web, les statistiques d’usage des base de données, les chiffres de circulation, les compteur d’entrée, le nombre de questions posées. Ces données montrent assez peu, comment et dans quelle mesure la bibliothèque impacte l’apprentissage, l’enseignement et le savoir. En ces temps de restrictions budgétaires, on demande aux bibliothèques de fournir plus de données  sur leur impact et leur pertinence.

L’un des défis majeurs est le choix de la bonne méthodologie. Les grandes enquêtes valent le coup mais développer et tester le questionnaire, analyser les résultats peut être très chronophage pour les enquêteurs. Réalisées trop fréquemment, les enquêtes peuvent laisser un sentiment de fatigue pour les usagers et les enquêteurs pourraient obtenir un faible taux de réponses. Les enquêtes administrées sur papier ou en ligne sont faciles à ignorer ou supprimer. Les focus groups et les entretiens individuels sont compliqués à planifier particulièrement pour les étudiants les plus occupés, et peuvent s’avérer très prenantes pour les enquêteurs. Les bibliothèques de GSU espèrent répondre à ces défis en proposant un nouvel outil, mobile et utile (l’ipad) dans la boîte à outil de l’évaluateur.

Bénéfices

Les enquêteurs ont construit une étude-pilote (sur des bases non scientifiques) pour tester la viabilité de l’iPad (un bloc-note numérique) en tant qu’outil de recueil de données. L’iPad représente une nouvelle approche du recueil de données pour les enquêteurs avec trois principaux bénéfices par rapport aux méthodes traditionnelles d’évaluation comme les enquêtes en ligne, ou les sondages papier en face à face.

Le premier bénéfice est la nouveauté et l’attraction de l’outil qui pourraient encourager l’intérêt des étudiants pour l’enquête. L’aspect tactile et le contact direct avec l’outil sont supposés plonger l’enquêté dans le processus de recueil de données d’autant plus si l’enquête est brève et ciblée.

Le deuxième bénéfice est la portabilité et la légèreté de l’outil qui peuvent accentuer le côté “homme de la rue” (man on the street). On suppose que la portabilité de l’ipad permettra à l’enquêteur de rencontrer les usagers là où ils se rassemblent naturellement, en comparaison de l’envoi passif de questionnaires en ligne ou des tentatives de planifier un rendez-vous. L’iPad a un avantage par rapport au téléphone ou aux autres terminaux mobiles, c’est la taille de l’écran, plus large tout en restant portable, permettant d’afficher plus de contenus et d’interagir avec les usagers.

Enfin, le logiciel utilisé avec l’iPad compilera les données automatiquement de manière plus efficace pour les enquêteurs. Il était important que la solution ou l’application retenue soit assez intuitive pour l’enquêté tout en proposant assez de flexibilité, d’options et d’utilité pour les enquêteurs.

Méthodologie de la première enquête

Test pilote pour les enquêtes par iPad, 2 questions : 1ère : « Pour quelle raison êtes-vous venu à la bibliothèque aujourd’hui ? veuillez nous donner la raison principale ». 10 modalités de réponses par ordre alphabétique, une seule réponse possible.

  • assister à une session de formation dans l’une des salles
  • emprunter un livre, un pc portable, un dvd, un document réservé
  • obtenir de l’aide d’un bibliothécaire
  • se rendre au Coffee Shop
  • rejoindre un groupe de travail
  • étudier seul
  • utiliser un ordinateur pour facebook, les emails, etc.
  • utiliser un ordinateur pour une recherche ou un devoir
  • utiliser la photocopieur ou l’imprimante
  • autre (+ champ libre)

La bibliothèque est très utilisée par les étudiants, mais la direction n’a aucune donnée sur ce que les usagers font dans les murs.

La 2ème question était “quelle est votre matière principale [major]” accompagnée d’un champ de texte  libre. Cette info est comparée aux données recueillies, entre autres infos démographiques, lors de l’entrée (portique avec présentation de la carte d’étudiant). Cela permet de comparer la représentativité de l’échantillon à la population fréquentante.

Les enquêteurs souhaitaient connaître le meilleur format pour la passation du questionnaire. La première version a été conçue à partir de Google Forms, choisi en raison de sa gratuité et de la recommandation de collègue. La seconde version a été conçue avec PollDaddy (sur iOS), l’une des rares application d’enquêtes gratuites et complètes disponible sur l’iTunes Store.

Les deux programmes nécessitaient la création d’un compte gratuit sur leur site respectif en créant un login unique + mot de passe et en fournissant une adresse email. GForms liste 7 types de questions dont choix multiple avec 1 réponse, choix multiple avec plusieurs réponses, échelle de notation. L’outil est basé sur un tableur, avec une limite de 400 000 cellules pour chaque feuille. Les réponses à l’enquête peuvent être visualisées et analysées en s’identifiant avec le compte Google.

PollDaddy propose comme type de questions : champ de texte, choix multiple avec une ou plusieurs réponses, échelle de notation, et plusieurs champs de texte pour des données telles que le nom ou l’adresse. Spécialisé dans l’enquête et le sondage, PollDaddy offre peu d’options avancées. La grille tarifaire est basée sur le nombre d’enquêtes et de réponses par enquête. Le compte gratuit fut choisi car il permettait de proposer jusqu’à 10 questions et 100 réponses par mois. Comme GForms, les résultats sont accessibles et analysables via login/mot de passe.

Le bibliothécaire responsable a surnommé le projet “Guerrilla Style assessment”. Il se promenait dans le bâtiment approximativement 20 minutes chaque jour (entre 9h et 16h) pendant 5 jours et demandait individuellement de compléter le questionnaire. A la fin de la période, 100 étudiants furent approchés pour 93 questionnaires remplis ; le bibliothécaire alternait entre GForms et PollDaddy. Cette méthodologie n’était pas scientifique. La sélection des participants était biaisée et basée sur les étudiants présents dans les salles les plus occupés de la bibliothèque sans prendre en compte les salles de travail silencieux (plus compliqué de déranger les étudiants). De plus, le bibliothécaire a administré l’enquête durant ses heures de travail donc hors soirées et week-end.

Résultats de la première étude

La version iOS de PollDaddy était un choix judicieux pour ce type d’évaluation. Le design est optimisé pour l’écran de l’iPad et les résultats sont téléchargeables offline (l’enquêteur avait plus de liberté pour faire remplir le questionnaire). Une fois les résultats collectés, l’application propose leur chargement en un clic vers le compte PollDaddy où une connexion internet est requise.

La limite des 100 réponses par mois peut constituer un inconvénient. Pas forcément pour l’étude-pilote mais cela pourrait devenir problématique avec des enquêtes simultanées. Le compte gratuit ne permet pas également l’export des résultats. Décevant mais pas bloquant pour une brève enquête.

Quelques problème d’affichage sur l’iPad avec PollDaddy : scrolling sans indication ou item coupé.

GForms a également bien fonctionné. Un formulaire via site web permet de zoomer pour améliorer la lisibilité. Le principal inconvénient est qu’il ne permet pas le recueil de données offline. Un usager doit être connecté pour remplir le questionnaire. Réseau wifi surchargé durant certaines périodes de la journée et signal perdu à certaines occasions.

Résultat  : 1er usage des étudiants : étudier par soi-même. Derniers : emprunter, obtenir de l’aide, attendre une formation (0 réponse)

Méthodologie et résultats de la deuxième enquête

Deuxième enquête-pilote sur la satisfaction des usagers, cette fois. Question unique : « Recommandriez-vous la bibliothèque à vos amis ? » échelle de Likert de 10 niveaux de “pas du tout” à “tout à fait”. Les réponses entre 1 et 7 entrainaient une autre question “Comment la bibliothèque peut-elle s’améliorer pour que votre vote s’approche de 10 ?” Cette question filtre n’était pas disponible sur GForms ou PollDaddy mais l’était sur Zoomerang.

La méthodologie était presque la même que pour le premier test (le bibliothécaire se baladait durant 20 minutes, 5 jours sur 7 entre 8h et 14h). 66 étudiants sollicités, 59 réponses. Moyenne de la première question 8.51. Neuf suggestions d’amélioration (amélioration du réseau wifi, plus d’ordinateurs et plus d’aide pour trouver des trucs).

Discussions et idées pour les projets futurs.

Les résultats des deux études montrent que la portabilité et le côté user-friendly de l’iPad en font un outil idéal pour l’évaluation guérilla (compléter l’enquête en attendant  ou dans ascenseur). Seulement 4 étudiants ont demandé comment fonctionnait l’iPad. La majorité touche intuitivement l’écran et trouve ce qu’il faut faire.

Les étudiants n’ont pas semblé ennuyés par les sollicitations pour l’enquête, cela peut venir d’un « iPad factor » (en plus du coté bref). L’iPad a attisé la curiosité des étudiants et a indirectement servi d’incentive pour participer à l’enquête. Les étudiants posait des questions dessus et voulaient parler de leur propre expérience avec les tablettes ou de leur souhait d’en acquérir.

Compte tenu des résultats des enquêtes-pilotes, la bibliothèque continuera à utiliser les iPad pour des évaluations brèves et ciblées. GForms sera utilisé lorsque l’enquête nécessitera beaucoup de réponses. PollDaddy sera utilisé quand les enquêtes seront courtes, lorsqu’il y aura des problèmes de connexion à internet. Lorsque des fonctionnalités avancées seront nécessaires, Zoomerang sera choisi.

Les prochaines études prévues :

  • tests d’utilisabilité et analyses de préférence pour le nouveau site mobile et le site web du département des collections spéciales et des archives (utilisation d’Usabilla, application de test d’utilisabilité qui génère des heat maps à partir de l’activité des utilisateurs sur les pages)
  • enquête auprès des primo-arrivants lors de l’orientation des nouveaux étudiants
  • enquête sur les usages et préférences en matière de média sociaux pour déterminer le type de présence en ligne de la bibliothèque
  • enquête auprès des usagers et non-usagers directement dans les départements
  • étude confirmatoire des enquêtes longues et des focus groups
  • utilisation de l’enregistrement audio lors d’entretien (recherches ethnographiques)

Taggé , , , .

L’évaluation est l’ennemie du doute (support de formation)

Posté dans Enquêtes.

Aucun commentaire

Par nicoAsLi – 19 avril 2012

L’ENSSIB m’a demandé d’intervenir dans le cadre de la formation « Évaluer les services sur place et à distance » (module 1, module 2). L’idée était de rendre compte des différentes expérimentations que j’ai pu mener à Angers ou St Denis.

Comme je n’aime pas trop faire encore et toujours la même formation, j’ai choisi comme angle d’attaque le doute, la problématique, les questions qui se posent à nous lorsqu’on essaye de créer, gérer ou améliorer un service en bibliothèque. Ce doute doit servir de moteur à l’enquête, nourrir la réflexion et baliser la construction du plan d’évaluation.

Parmi toutes les évaluations auxquelles j’ai pu participer, j’en ai choisi trois. Pas forcément les plus importantes mais celles qui m’ont le plus marqué, celles qui ont forgé mon expérience dans le domaine, celles qui m’ont permis de découvrir de nouvelles méthodes. Les résultats ne sont pas toujours au rendez-vous mais on apprend aussi beaucoup d’une évaluation ratée.

La première expérience concerne le projet de prêt de liseuses à l’Université d’Angers ; le deuxième, l’extension des horaires d’ouverture dans le même SCD (projet abordé à différentes reprises sur ce blog : Extension du domaine des horaires d’ouverture 1, 2, 3).
La troisième expérience est un projet en cours, entamé en décembre 2011 et qui devrait produire ses premiers résultats en juin 2012, il s’agit d’une évaluation de l’utilisabilité d’un ensemble d’outils numériques (site web, catalogue, moteur de recherche fédérée et résolveur de liens) mis à la disposition du publique depuis février dernier. J’aurai l’occasion de revenir sur cette enquête et les méthodes qui la sous-tendent prochainement.
Vous trouverez le récit de ma formation, ce que j’ai pu raconter à chaque diapo, en téléchargeant le fichier (odp, LibreOffice) et en consultant l’onglet Notes.

L'évaluation est l'ennemie du doute : trois expérimentations

Taggé , , , , , , , .

Le bibliothécaire qui avait peur du chat

Posté dans Service de référence en ligne.

8 commentaires

Par nicoAsLi – 9 février 2012

funny pictures-I smell your fear. And it is not attractive.

Le réseau des bibliothèques de l’Université de Toulouse  a ouvert en janvier 2012 un service de renseignement en ligne par formulaire web (réponse en 3 jours) et par chat (du lundi au vendredi de 10h à 17h).

Cela porte à 29 31 29(me souffle-t-on dans l’oreillette [màj du 20/02]) le nombre de bibliothèques d’enseignement supérieur proposant du renseignement par chat (Ubib :  14 17 (donc), Toulouse : 9 6 (re-donc), Ping Pong 5 et Metz). C’est peu, trop peu par rapport aux 127 bibliothèques universitaires et de grands établissements en France.

Le site LibSuccess dénombre 1270 bibliothèques (publiques et d’enseignement) renseignant leurs usagers par messagerie instantanée, au niveau mondial. Et ce chiffre ne comprend pas les bibliothèques utilisant l’outil QuestionPoint d’OCLC (le plus utilisé au monde).

OCLC, d’ailleurs, diffuse les chiffres mensuels de l’activité de son réseau (plus de 1800 bibliothèques). En novembre 2011, QuestionPoint a enregistré plus de 53000 sessions de chat contre moins de 46000 questions par mail, texto ou formulaire web ! Surpris par ces données, je suis remonté un peu dans le temps pour m’apercevoir que le chat a supplanté les questions par mail depuis août 2011, la tendance ne fait que se creuser depuis.
La montée en puissance du chat était déjà dans l’air du temps, elle est maintenant confirmée par des données internationales.

La France est à la traîne. Pourquoi ? Voici quelques réactions entendues au cours de formations ou de discussions informelles sur le sujet

Le bibliothécaire ne chatte pas

Il ne chatte pas personnellement et encore moins professionnellement. D’ailleurs, on ne peut que déplorer l’absence de données fiables sur les pratiques numériques des bibliothécaires, mais que fait l’ABF/ADBU/ADBS ? [rayer la mention inutile]
Personnellement, je privilégie de plus en plus le chat au même titre que les réseaux sociaux (twitter en tête) pour ma communication professionnelle hors-établissement.
Et je ne connais pas d’exemple de collègues obligés d’utiliser le chat (dans le cas d’ubib par exemple) et contraints d’abandonner parce qu’ils n’arrivaient pas à se familiariser avec ce nouveau moyen de communication. C’est une pratique comme une autre, qui nécessite un temps d’apprentissage, de formation et une dose de motivation.

Le chat est un gadget

Un gadget utilisé par 75% des élèves de 4e-3e est-il encore un gadget ? Le mail n’est plus l’outil de communication préféré des jeunes générations, il deviendra rapidement un truc de vieux ou utilisé pour des occasions très particulières, comme le courrier papier tend à l’être aujourd’hui.
Quelle réponse peut/doit apporter la bibliothèque à cette état de fait ? on mise encore tout sur le renseignement physique et le mail ?

Trop compliqué de monter un SRV par chat

Ce n’est pas faux. Sachant que pour fonctionner correctement (c’est à dire pour que les usagers soient au rendez-vous et que les bibliothécaires ne se découragent pas devant les permanences sans âme qui vive), les plages horaires doivent être les plus larges possibles, il faut fonctionner à plusieurs. Et il est toujours plus compliqué de travailler à 3-5-10 que tout seul.
La mutualisation du renseignement  telle que pratiquée par Toulouse, Ping Pong ou Ubib implique aussi de travailler pour d’autres publics que les siens, ce qui n’est pas toujours bien vu par les professionnels. Je suis convaincu que la mutualisation n’est qu’une étape nécessaire de l’implémentation des SRV synchrone en France, précédant le stade où les bibliothèques auront leur renseignement par chat propre, assuré par leurs bibliothécaires pour leurs usagers.
D’ici là, mutualisons sans complexe, c’est mieux que de ne rien faire. Et ça reste moins compliqué que le moins ambitieux des plans de conservation partagée des périodiques.

Ils ne poseront que des questions factuelles par chat…

…comprendre illégitimes. Vaste et récurrent débat sur ce qu’est une question légitime ou pas. Les récents chiffres d’ubib montraient que les questions par chat se répartissaient entre 33% de questions documentaires, 31% de questions pratiques (horaires, peb, etc.), 20% d’assistance technique (docelec, opac, compte internet) et 16% de questions Autres. On doit sans doute atteindre les mêmes proportions pour un bureau de renseignement.
Mais, soupçons que porte en elle la nouveauté, on pose la question de la légitimité des demandes pour le chat, alors qu’on ne se la pose pas pour le renseignement physique.
De plus, combien de bibliothèques produisent des chiffres fiables et réguliers sur le volume et la typologie des questions posées aux bureaux de renseignement ? et qui les rend public ?

Le problème vient probablement de la place du renseignement en bibliothèque et dans la profession en général. Le service public, c’est ce qui nous empêche de bien faire notre travail en interne. C’est ce qu’on réparti sur toutes les équipes, parce qu’il faut toujours répartir les tâches les plus pénibles.
Pourquoi, dans nos associations professionnelles, n’avons-nous pas une section spéciale Renseignement et services aux usagers, sur le modèle du Reference and User Services Association américain, qui accompagne les bibliothécaires, les forme, oriente et fait évoluer les pratiques aussi bien pour le physique que pour le virtuel, PARCE QUE C’EST LA MÊME CHOSE ?
Pourquoi pas du personnel formé pour et dédié exclusivement au renseignement ? Parce que ça appauvrit la relation aux collections, aux usagers ? Parce qu’on préfère conserver la diversité de nos tâches ? mouais, tant que nous n’aurons pas essayé, je ne serai pas convaincu.

Taggé , , , , .

2012

Posté dans Aut'trucs.

Aucun commentaire

Par nicoAsLi – 5 janvier 2012

cet instant fraicheur vous est offert par Assessment Librarian
* bonne année

Taggé , .

[Note de lecture] Constuire ses statistiques de renseignement en moins d’une heure avec Google Forms

Posté dans Enquêtes, Outils, Saines lectures.

Aucun commentaire

Par nicoAsLi – 5 janvier 2012

How to Build a Desk Statistics Tracker in Less than an Hour Using Forms in Google Docs (Computers in Libraries, octobre 2011, accès gratuit [ mais grâce soit quand même rendue à Marlène Delhaye, que mille pétales de roses recouvrent ses pas])

Merci aux auteurs, Sunshine Carter et Thomas Ambrosi (University of Minnesota-Duluth)

University of Minnesota – Duluth compte 11000 étudiants (principalement undergraduate, niveau licence) et 500 enseignants. La bibliothèque gère annuellement 13000 questions en présentiel, 3000 sessions de chat par an. Les bureaux de renseignement sont ouvert 66h/semaine.

Avant, les bibliothécaires utilisaient un tableau papier pour noter la durée et le type de question, puis les données étaient reportées dans un tableur (par un moniteur étudiant). Peu de profondeur d’analyse (surtout pour le chat) et chronophage.

C’est donc posé le choix d’un nouvel outil : Libstat, Desk Tracker, Excel
D’abord, choix de Libstat puis abandon car problème d’implémentation (pour le service informatique) puis essai d’une base Access mais trop compliquée à utiliser.

Les minimums requis étaient simplicité (minimum de clic, certains bibliothécaires réclamaient pas plus de 2 clics) et possibilité d’ajouter une note ou une info si nécessaire.

Piste pour utiliser une base mySQL et une interface web mais cela nécessitait l’intervention de l’équipe informatique de la bibliothèque ce que les auteurs voulaient éviter.

Puis utilisation de Google Forms (compte Google perso ou institutionnel indispensable), création d’un prototype de formulaire en moins d’une heure. Avantages : facilité d’enregistrement, compilation instantanée, facilité d’export, personnalisation rapide, extensible, et accessible par internet. Le projet a été nommé SimpleStats.

SimpleStats

2 questions dans SimpleStats :

  • champ Texte (optionnel) où le bibliothécaire peut entrer des informations complémentaires sur la transaction effectuée
  • tableau croisé contenant le canal du renseignement (présentiel, chat, email et téléphone) et le type de renseignements :
    • orientation (directional)
    • PC/Imprimante (Computer/Printing)
    • Fourniture (supplies)
    • Recherche 1-9
    • Recherche 10-19
    • Recherche 20+
    • Référence
  • Horodotage automatique de la transaction

Questions à se poser si on utilise un login Google institutionnel :

  • Faut-il laisser les bibliothécaires éditer le formulaire ?
  • Faut-il un login pour voir le formulaire ?
  • Souhaite-t-on  collecter automatiquement les noms des bibliothécaires ?

Plusieurs moyens d’accéder au formulaire : envoyer par email, lien sur une page web, intégrer dans une page (choix retenu) d’abord sur la page LibGuides durant la phase de test puis une page propre.

Test entre mai et juin 2011, en parallèle à l’utilisation du tableau papier.
Une première version de SimpleStat a été utilisée pour le bureau de référence (RefDesk). La facilité d’utilisation de l’outil a permis de développer 2 autres versions. L’une pour les bureaux (afin d’obtenir une image plus fidèle des renseignements fournis aux usagers), la troisième version (SimpleStat-Teaching) ne comporte pas les mêmes questions que les deux premières, elle vise  recueillir les données durant les formations

Analyse des statistiques de renseignement
L’analyse permet de déterminer combien il y a eu de transactions durant une période donnée ou quelles sont les heures de la journée les plus occupée.
Export facile en csv, html, text, excel, odt et pdf. Utilisation d’excel pour une analyse en profondeur (trafic en fonction de l’heure et du jour).

Premier impératif , réfléchir à quelle(s) question(s) répondre en recueillant les données. Ensuite, définir ce qu’on doit collecter et quand le faire.

[LIB 2.011] Utiliser les données des enquêtes pour améliorer les ressources et les services aux étudiants à distance

Posté dans Enquêtes, Lib 2.011, Libqual+.

Aucun commentaire

Par nicoAsLi – 29 novembre 2011

LIB 2.011 est une conférence internationale, gratuite et entièrement en ligne sur les bibliothèques organisée par la School of information and Library Sciences de la San José State University qui s’est tenue les 2, 3 et 4 novembre 2011. L’enregistrement des ateliers est disponible en ligne.

Emily O’Connor, Ramsussen College Library & Learning Centers (Flickr, Facebook): 16000 étudiants, 22 campus, 5 états + online (programme National Online)
70% des inscrits ont des cours en ligne (dont 2500 sont entièrement à distance sans présence sur les campus).
Véritable réflexion sur le online à partir 2004 : comment accompagner les usagers en ligne au delà du simple site web pour accéder aux bases de données

Paradoxe : un manque de ressources électroniques et aucune information sur les besoins des étudiants

Si vous n’avez pas de données pour appuyer vos demandes, vous n’obtiendrez aucun financement
Circuit utilisé : Déterminer les besoins -> Recueillir les données -> Analyser les données > Utiliser les données > vérifier si les besoins sont satisfaits

Libqual

Première enquête : Libqual en 2008, 2009 puis tous les deux ans.
Participation plutôt bonne en 2008, 22% pour les étudiants à distance et 17% pour les étudiants sur place. forte chute de la participation des “à distance” (5%) et faible baisse des “sur place” (15%). Augmentation en 2011 (22% sur place et 8% à distance). Effort important de communicaiton (facebook, mail, incentives)

Améliorations proposées suite à Libqual :

2008-2009

  • logiciel de création de références bib (noodltools)
  • élargir l’offre de ressources électroniques
  • atelier offering workshop in programmatic courses
  • adresse mail pour le renseignement des étudiants

2009-2011

  • embaucher un bibliothécaire pour le programme National Online
  • webinar pour étudiant à distance
  • élargir l’offre de ebook (Overdrive, Gale, Credo)
  • tutoriel vidéo
  • renseignement en ligne par IM et SMS

2011+

  • série complète de webinars
  • investir encore dans les ebooks
  • refonte du site web
  • investissement dans Discovery
  • améliorer l’assistance de la bib dans une plateforme en ligne
  • Libguides et Libanswers

Enquêtes maison

En plus de Libqual, 2 enquêtes maison (janvier 2010). Outil : Survey Monkey (avec un compte premium), accessible à tous les bibliothécaires pour d’éventuelles enquêtes ciblées. Bon d’achat comme incentives.

Enquête générale de satisfaction

4 questions (+1 zone de commentaire + questions signalétiques) :

  • my question ware answered thoroughly (On a parfaitement répondu à ma question)
  • Your service was helpful and friendly (Votre service était utile et agréable)
  • i feel more comfortable now for asking assistance (Je me sens à l’aise désormais pour demander de l’aide)
  • i would recommand this service to others (Je recommanderai ce service aux autres)

5 modalités de réponse :

  • strongly agree (tout à fait d’accord)
  • agree (d’accord)
  • neutral (neutre)
  • disagree (pas d’accord)
  • strongly disagree (tout à fait pas d’accord)

bon moyen d’avoir un retour immédiat et de résoudre des problèmes rapidement
Diffusion de l’enquête : flyer, signature d’email, lien dans les réponses par SMS, lien sur la page Facebook, à la fin des sessions de chat.

Enquête de satisfaction sur les ateliers et les webinars

Ce n’est pas une enquête sur l’efficacité des ateliers, il y a d’autres enquêtes pour cela.
Questions sur le webinar suivi
4 questions :

  • This workshop will be useful for me (l’atelier me sera utile)
  • The librarian is a good communicator (le bibliothécaire est une bon présentateur)
  • The librarian was knowledgeable (le bibliothécaire était calé)
  • i feel comfortable contacting the librarian in the future (Je me sens à l’aise pour contacter le bibliothécaire dorénavant)

Comité d’évaluation (Assessment commitee) qui travaille sur les données des enquêtes de satisfaction + libqual et qui propose des améliorations.

Points à améliorer

  • Améliorer la diffusion des enquêtes (Facebook)) et la communication autour des enquêtes (les prescripteurs) pour augmenter le taux de réponses.
  • Améliorer la communication autour des résultats pour encourager les usagers à répondre car “ils nous aident à être meilleur”
  • Améliorer la communication auprès du personnel, de l’administration.
crédit photo : Survey Marker, Splorp,  CC-by-nc-nd

Taggé , , , .

[Notes de lecture] L’attitude des étudiants à l’égard des services de bibliothèque sur smartphone

Posté dans Saines lectures.

3 commentaires

Par nicoAsLi – 24 novembre 2011

Student attitudes towards mobile library services for smartphones (Library Hi Tech, Vol. 29, Iss. 3, accès payant [grâce soit rendue à Marlène Delhaye])

Merci aux auteurs, Lorraine Paterson (blog, twitter) et Boon Low (blog, twitter), e-Science Institute, University of Edinburgh, UK

Méthode : questionnaire en ligne (1716), 2 focus groups (6 undergraduates et 5 graduates) dans la continuité d’une première enquête en mars 2010.
Objet : Déterminer les services les plus utiles aux étudiants afin d’en accélerer le développement

Financement de l’étude dans le cadre du UX2.0 (user experience) JISC.

Littérature

Multiplication des études de cas sur les services mobiles. Etude de la Ryerson University en novembre 2008 : usages des smartphones :  email, facebook, surfer sur internet, mais servent aussi à passer des appels, texter, prendre des photos et écouter de la musique.
Enquête EDUCAUSE, ½ des étudiants utilisent leur téléphone pour surfer sur internet.
Enquête California Digital Library (CDL), 2 enquêtes, 295 répondants, 14 entretiens. les usagers utilisent les services mobiles pour localiser des ouvrages précis ou pour rechercher des infos rapides, ils utilisent déjà les bases de données en ligne sur leur portable. 55% voudrait disposer du catalogue en ligne (même chiffre pour l’enquête Cambridge University) en plus des horaires d’ouverture, des plans d’accès, des contacts et du compte lecteur.

Méthodologie

Mars 2010 : enquête du Information Service auprès des étudiants sur les services mobiles de l’université, puis 7 mois plus tard étude de suivi contenant une partie spécifique aux services mobiles de la bibliothèque. La comparaison entre les résultats des 2 enquêtes a permis de déterminer les services utilisés par les usagers et ceux que les usagers pensaient les plus utiles.
Le projet UX2.0, lancé en novembre durant 2 semaines, hébergé par Bristol Online Survey, promotion par une annonce sur le site des étudiants et du personnel + email aux étudiants + incentives.
1716 réponses, presque équivalent au 1989 réponses de la première enquête (6% de la population estudiantine).
Répartition : 56% de femmes, 66% undergraduateS, 18% taught postgraduates, 16% research postgraduates, 36% d’étudiants étrangers.

2 focus groups en janvier 2011, recrutement sur déclaraton d’intérêt pour la participation (mail laissé en fin de questionnaire). Vérification de la possession d’un smartphone et d’une connexion internet suffisante. 5 postgraduates et 6 undergraduates. bon d’achat de £10 chez un libraire. Les 2 focus groups sur une journée.
chacun comportait une démonstration des Services mobiles d’autres institutions (North Carolina State University Library, Cambridge University Library, Amsterdam University Library). Objectif : déterminer les principaux usages sur smartphone (université et bibliothèque). Edinburgh ne disposait pas de services mobiles à tester. Cela a permis de déterminer quels services Edinburgh devait implémenter, d’identifier les services moins intéressants et ce qu’il ne fallait pas faire.

Résultats

Sur les téléphones portables

L’un des résultats les plus significatifs fut l’augmentation sans précédent de la possession de smartphones parmi les usager (67%).

définition du smartphone (étude Apple) : téléphone mobile avec écran tactile et clavier utilisé pour envoyer des mail et surfer sur le web (avec un navigateur et des applications téléchargeables)

¾ des enquêtés ont un accès illimité à internet ou accès limité mais suffisant pour les besoins

Sur les services de la bibliothèque

les répondants devaient indiquer parmi différents services ceux dont ils estimaient utile une version pour mobile (échelle de Likert 4 niveaux : trés utile, plutôt utile, peu utile, pas du tout utile)
Services perçus comme les moins utiles (34% d’avis négatif et +):

  • trouver ses amis dans la bu et les contacter
  • partager les documents trouvés/lus à la BU
  • Noter et commenter les documents de la bibliothèque
  • voir les livres les plus empruntés
  • lire les commentaires des autres
  • recevoir des alertes sur les actus de la BU

Les services considérés comme utiles :

  • Rechercher sur le catalogue (première position). Le focus group a montré que les étudiants souhaitaient non seulement un catalogue simple et adapté aux mobiles mais aussi des fonctions avancées (recherche par titre-auteur-sujet, des vignettes pour les couvertures, disponibilité et localisation des ouvrages dés la liste de recherche)
  • rechercher sur une base de données
  • localiser un rayonnage (assez flou : une simple présentation d’information sur le rayon, des informations plus détaillées, une représentation visuelle de l’étagère ou un mix de tout ça. Durant les focus groups, les usagers ont exprimé le besoin de conseils plus détaillés sur la manière de se repérer dans la bibliothèque, les étudiants se disent parfois perturbés par l’agencement et les difficultés à localiser un rayon sans demander de l’aide. Les étudiants ont décrit la possibilité d’avoir un lien vers une carte dans une notice de document. Carte statique ou mieux géolocalisation via GPS)
  • voir son compte lecteur
  • réserver un document
  • vérifier la disponibilité des PC

Parmi les services proposés par d’autres bibliothèques (notamment NCSU), le focus group a apprécié les webcams (sujet polémique dans le groupe pour des questions de respect de la vie privée ; dans certains cas, les étudiants estimaient que cela pouvait constituer un plus), la localisation des groupes, la disponibilité des pc, la réservation des salles. Ce dernier service rencontre une grand succès et nécessite des réservations bien à l’avance. Une fonction sur mobile pour ce type de service serait très appréciée. Même constat pour les box, l’impossibilité de localiser rapidement un box disponible a poussé les étudiants à trouver des solutions en dehors de la BU (coffee shop)

Sur les usages du mobile

En tête arrivent la navigation sur site web, les emails et les réseaux sociaux. Le téléchargement de contenu arrive en dernier (en raison de la mémoire et des capacité de stockage des téléphones ?).
Cela implique le développement de fonctionnalité permettant de s’envoyer par mail ou par marque page un certain nombre d’info lors d’une recherche documentaire, élément confirmé par les focus groups. La taille de l’écran ne permet pas la lecture, uniquement parcourir.
⅓ des étudiants déclare utiliser son portable à l’intérieur de la bibliothèque (en relation ou pas avec la bib), s’ils le font déjà, ils sont alors capable d’utiliser leur portable pour des services mobiles de bibliothèque s’ils sont disponibles.

crédit photo : No phone floor, Travelin’ librarian, CC-by-nc-sa

[LIB 2.011] Debout ! grâce aux sondages, aux enquêtes et aux canaux alternatifs

Posté dans Compte-rendu, Lib 2.011.

2 commentaires

Par nicoAsLi – 21 novembre 2011

LIB 2.011 est une conférence internationale, gratuite et entièrement en ligne sur les bibliothèques organisée par la School of information and Library Sciences de la San José State University qui s’est tenue les 2, 3 et 4 novembre 2011. L’enregistrement des ateliers est disponible en ligne.

Nikki Robertson est bibliothécaire au lycée d’Auburn. On peut la suivre via son fil twitter NikkiDRobertson et son blog Education Juvenation.

Sondages et questionnaires

Les outils de sondage et de questionnaire en ligne permettent une évaluation rapide. L’objectif de cette utilisation est de rassembler des infos sur ce que les élèves savent, sur le cours, ce qu’ils ont retenu ou pas retenu.

Ils existent de nombreux outils de sondage en ligne : Poll everywhere (répondre à un sondage via son portable, moyen très rapide et facile pour sonder les élèves), Poll Daddy, Twtpoll, Senteo, SurveyMonkey

Backchanneling

Le backchanneling (ou canal alternatif, secondaire) est l’action d’apprendre des personnes qui sont présentes à une manifestations, conférences (twit-live), ça aide l’attention l’assistance.
Ce n’est pas grossier d’être sur son mobile lors d’une présentation, ça aide les participants à se concentrer et apporte plus de contenus : navigation dans les ressources en même temps que la présentation, réponse à des questions posées à la volée, les participants peuvent participer entre eux et innover

Lors d’une conférence, taper sur un écran signifie que vous avez provoqué un intérêt, les collègues et camarades peuvent répondre aux questions pour vous, vous avez un retour immédiat et vous pouvez clarifier les éléments mal compris. L’audience ne s’endort plus durant les présentations.

Twitter est un bon outil pour le backchanneling. Etude du Pew research Center sur twitter : les afro et les latino-américains utilisent plus souvent twitter que les blancs.

Utiliser le backchanneling lors du visionnage de films : pour répondre aux questions posée par le prof, poser des questions pour faire réagir, répondre aux questions des camarades, analyser et réfléchir à certains aspects du film.

Pourquoi le backchanneling dans une classe ? Certains élèves sont timides et ne s’expriment jamais en classe comparer à d’autres. Il est étonnant de remarquer comment ces élèves participent quand ils n’ont pas besoin de verbaliser leur propos (par le sms, le backchannelling ou les questionnaires). Il est beaucoup plus facile d’engager la conversation avec ces élèves. Le backchanneling est un moyen d’égaliser, de mieux répartir l’attention accordée aux élèves.

Les élèves ne parlent pas au téléphone, ils écrivent des sms, ils écrivent, ils n’ont pas besoin de vocaliser leurs émotions.

Ressources

Vidéo illustrant l’utilisation du backchanneling dans une salle de classe.

Cybraryman propose des astuces pour réussir son backchanneling

Bibliographie sur le backchanneling

Yann Leroux (Psy et Geek) a déjà abordé le backchanneling sur son blog : Twitter, une salle de classe tendue.

Crédit photo : Learning Time, Temari 09, CC-by-nc-nd

Taggé , , , .

[Notes de lecture] Utiliser le screencasting pour étudier le comportement des usagers lors d’une recherche documentaire

Posté dans Saines lectures.

Aucun commentaire

Par nicoAsLi – 16 novembre 2011

Using screen capture to study user research behaviour (Library Hi Tech, Vol. 29, Iss. 3, accès payant [Merci Marlène])

Article de Bonnie Imler (Penn State Altoona, Pennsylvania, USA) et Michelle Eichelberger (Genesee Community College, Batavia, New York, USA)

​Préalable

l’observation directe est l’une des méthodes utilisées pour les usability test mais elle comporte des pbs :
- présence de l’observateur qui perturbe le comportement de l’usager
- difficulté de noter chaque action de l’usager
- biais lorsque l’observateur observe ce qu’il veut ou s’attend à voir

​Le screencasting a d’abord été utilisé pour enregistrer des tutoriels (réalisés par des bibliothécaires) à destination des étudiants. C’est en assistant à la présentation d’un outil de codage vidéo pour les sportifs (Studiocode) que les auteurs ont eu l’idée d’utiliser ce type d’outil pour enregistrer les usagers en train d’utiliser les ressources électroniques.

Outils

​De nombreux outils de screencasting existent, Camtasia, Captivate, Jing, Snapz. ils permettent d’enregistrer tout ce qui se passe dans une fenêtre ou seulement une zone : mouvement de souris, clic, texte, action copier/coller, ouverture de fenêtre. / Studiocode : pour mac seulement, fichier enregistré en Quicktime. Pour l’enregistrement vidéo, le choix s’est porté sur Snapz Pro ​(pour mac).
Le paramétrage de l’outil a concerné la zone enregistrée (zone de l’écran, tout l’écran, etc.), le type d’enregistrement (caméra fixe, suivi du curseur, etc.) et la visibilité du curseur.

Étude

​L’étude est une évaluation quantitative de l’usage du résolveur de liens SFX par des étudiants de niveau licence (undergraduate) . 40 participants ont reçu une présentation introductive à SFX. Plusieurs semaines après, l’étude a eu lieu avec une prise de rendez-vous individuel. Elle démarrait après la lecture de sa description de l’étude.
Le participant lançait l’enregistrement (solution préférée à un démarrage effectué par le bibliothécaire) : laisser l’usager aller à son propre rythme, rappeler que l’exercice est enregistré.
L’exercice consistait à retrouver le texte intégral à partir d’une série de références bibliographiques issues de la base de donnée Proquest.

Résultats

Les auteurs ont été surpris par la manière dont les mouvements à l’écran pouvait traduire les émotions ressenties par les usagers au moment de l’exercice.
Le chemin de la souris et la vitesse d’exécution peuvent indiquer confiance et résolution dans l’exécution des tâches, à l’inverse une souris hésitante peut indiquer confusion et frustration de la part du participant. Certains mouvements trahissent une attitude ; le free falling mouse (mouvement du curseur en ligne droite sur le bord supérieur de l’écran) équivaut à “j’abandonne”.
Dans la même veine, certains usagers se mettent à dessiner des cercles, sans but particulier, avec leur souris après plusieurs tentatives ratées de recherche.

​Dans le cadre de la recherche, beaucoup d’usagers peinaient à utiliser correctement le bouton SFX, même après une formation ad hoc. Le “aha moment “ (en éducation, manifestation du moment précis où un élève saisit un concept) est le moment où l’usager saisit la fonction du bouton SFX et retourne immédiatement sur chaque référence pour confirmer l’utilité du bouton.

​Le screencasting est une méthode efficace et pratique pour conduire une recherche quantitative et il a l’avantage de faire appel à des logiciels déjà présent et peut-être déjà utilisés pour les tutoriels. C’est une méthode d’observation non intrusive et les résultats peuvent être manipulés, évalués et codés de bien des manières. Les retours sur la participation à cette étude sont positifs, aucun usager n’a semblé mal à l’aise à l’idée d’être enregistré.

​L’utilisation du screencasting dans l’évaluation de la bibliothèque n’est pas limité : évaluation des formations en enregistrant les comportements des usagers avant et après la formation, évaluation et justification des abonnements aux bases de données. Si les bibliothécaires souhaitent réellement savoir comment les ressources sont utilisées, le screencasting est le moyen idéal pour recueillir ce type d’information.

[LIB 2.011] Utiliser l’intelligence artificielle et les agents virtuels pour améliorer les services de renseignement en bibliothèques

Posté dans Compte-rendu, Lib 2.011, Service de référence en ligne.

Aucun commentaire

Par nicoAsLi – 14 novembre 2011

LIB 2.011 est une conférence internationale, gratuite et entièrement en ligne sur les bibliothèques organisée par la School of information and Library Sciences de la San José State University qui s’est tenue les 2, 3 et 4 novembre 2011. L’enregistrement des ateliers est disponible en ligne.

Que ce chat est laid ! (ccc)

Présentation de Michele McNeal (web specialist – Akron-Summit County public library) et David Newyear (Adult information services manager-  Mentor Public Library)

EMMA

EMMA est un agent intelligent (=chatbot), un agent conversationnel, un programme informatique installé sur le site web de la Mentor Public Library depuis 2 ans.

Les moteurs de recherche nécessitent que l’usager trouve l’information ce dont il a besoin, l’agent virtuel le trouve pour lui. La recherche se fait à partir d’un dialogue entre l’agent et l’usager en utilisant le langage naturel (natural language processing, NLP). L’usager n’utilise pas la même terminologie que la bibliothèque, le NLP résout ce problème. Ils n’ont pas à connaître notre vocabulaire pour interagir avec la bibliothèque.

Deux composants dans l’agent intelligent :

  • le cerveau (brain) : détermine comment l’agent répondra aux requêtes. il se compose de plusieurs fichiers AIML (Artificial Intelligence Markup Language). Le logiciel Pandorabot est utilisé comme hôte de l’IA.
  • le visage (face) : optionnel, animé ou pas, texte audio, plus ces fonctionnalités seront utilisées, plus la conservation sera réaliste. L’application SitePal est utilisée pour héberger l’avatar

pourquoi utiliser AIML ?

Langage simple, open source et gratuit qui utilise différents langages html, xml, php, javascript. L’agent peut être utilisé de différentes manières : texte d’aide dans l’opac, avatar interactif parlant dans le site web, mini avatar sur la page d’accueil, page pour web mobile, etc.

Comment fonctionne AIML ?

Le langage se base sur des catégories, des patterns (modèle de question) et des templates (modèles de réponse). Une question équivaut à une réponse. possibilité d’ajouter du html aux templates (renvoi vers une page web, une recherche catalogue).

Utilisation des wildcards : astérisque et underscore permettant de créer un pattern pour une large gamme de questions “Do you know * is ?”

Utilisation des wildcards multiples : “* who * is ?” pour “Do you know/can you tell me who/i want to know”

Le tag <SRAI> : permet d’essayer tous les templates sur le pattern

Réponse aléatoire avec le tag <random> pour les questions triviales du type “i like the library”.

Le programme Pandora gère les erreurs de frappe les plus courantes mais pas toutes.

Bilan du service

quelle répartition des échanges ?

  • 30% sur les procédures, le règlement et les collections de la bibliothèque
  • 35-40% de recherche sur le catalogue
  • le reste est du chat.

Le but de l’agent est de répondre aussi précisément que possible à la question. Un mot recherché correspond à de très nombreuses possibilités.  Mais il y a plus de chances de tomber sur une mauvaise réponse et le délai de réponse est plus long.
Problèmes : gérer les fautes, gérer les dialectes et le temps passé à créer de nouvelles catégories.

Comment accroître les connaissances du bot ?

- manuellement (avec un éditeur html)
- Pandorawriter (éditeur inclus dans Pandora)
- Python (pour générer un grand nombre de catégories)
- Apprentissage autonome, le bot peut apprendre tout seul : passer en revue les logs des conversations, moyen efficace mais chronophage

L’avatar

Visage et voix : l’avatar est optionnel, les avatars humains ont été écartés pour éviter tout problèmes de discriminations des minorités. Choix du chat : longue histoire entre les bibliothèques, les livres et les chats.

Les débats engendrés par l’utilisation d’un avatar :
- photoréaliste ?
- animé par des expressions faciales ?
- sens de l’humour
- IA uniquement ou IA + assistance humaine

Étude de DeAngeli : Relation de domination entre l’usager et le bot, ils peuvent le “punir” en éteignant l’ordi/l’application, inconsciemment le bot est pris pour un être humain, la moitié des usagers adopte une attitude de compétition et essaye de tester les limites du bot, l’autre moitié est plus coopérative (car ils se rendent sur le site de la bib pour répondre à un besoin d’information)

EMMA ignore explicitement les insultes et reprend la conversation si l’utilisateur se calme.

Lorsqu’aucun terme entré par l’usager ne correspond à une catégorie, le bot utilise une catégorie ultime (<pattern>*</pattern>), il est alors renvoyé vers une recherche sur le catalogue, le site web, les bdd ou une assistance humaine.

La fin du renseignement ?

les agents virtuels sont présents un peu partout, et se portent plutôt bien “400% d’augmentation d’ici 2014” selon une étude. Plusieurs agents en Allemagne, exemple de PIXEL (University of Nebraska Linconl Libraries http://pixel.unl.edu (créé par Dee Ann Allison)

Les usagers aiment beaucoup les agents virtuels, surtout les ados. Une utilisation soutenue permet d’accroître la pertinence des résultats, le taux de réponses correctes est passé de 12% à 83%.

Les personnes sont anxieux, ils se demandent s’ils vont garder leur job, s’ils sont encore utiles, si les services traditionnels en bibliothèque ont encore une raison d’être -> mais que se passerait-il si on ignorait ces technologies ? ces technologies se développent dans le quotidien des usagers (SIRI, app Android)

Avantages :

  • usager n’a pas à réfléchir à la manière de poser sa question (langage naturel)
  • réponse immédiate
  • plus facile pour poser des questions idiotes
  • 24/24 7/7
  • anonyme
  • marketing
  • amusant à utiliser
  • intéressant pour les publics d’ados

Inconvénients :

  • chronophage
  • logs à vérifier
  • nouvelles catégories à ajouter
  • bêta permanente

EMMA est devenu INFOTABBY (Open source-apache 2.0 license), disponible sur Google code et sur le site dédié.

Taggé , , , , , , , .