Skip to content


[Notes de lecture] Si, un jour, vous ne savez plus quoi faire de vos iPads en bibliothèque…

Posté dans Enquêtes, Saines lectures.

Assessment on the Go : Surveying Students With an iPad (Digital Archive @ GSU, University Library Faculty Publications, 11 avril 2011). Merci aux auteurs Jennifer Link Jones et Bryan Sinclair (Georgia State University).

Contexte

Achat à l’automne 2010 de 10 ipads par le service des Technologies et des Systèmes d’Information pour aider les formateurs. A l’issue du projet, la bibliothèque a conservé les ipads. Fin 2010, les bibliothécaires pouvaient utiliser les ipads pour des projets en lien avec l’enseignement ou un projet professionnel. Le bibliothécaire responsable de l’évaluation et le vice-doyen de la bibliothèque ont proposé leur utilisation pour une évaluation “guérilla” (guerilla-style assessment) : entrer en contact avec des sujets potentiels, les surprendre avec une enquête en ligne à remplir sur place. La première évaluation “sur le vif”  a démarré début 2011.

GSU cherche continuellement de nouveaux moyens d’évaluer les perceptions, préférences et satisfaction de ses étudiants. L’identification des besoins et l’idée de ce type d’évaluation a précédé l’utilisation des ipads.

L’évaluation dans l’enseignement supérieur, surtout dans les bibliothèques est un challenge continuel. Les bibliothèques peuvent mesurer le nombre de hit sur le site web, les statistiques d’usage des base de données, les chiffres de circulation, les compteur d’entrée, le nombre de questions posées. Ces données montrent assez peu, comment et dans quelle mesure la bibliothèque impacte l’apprentissage, l’enseignement et le savoir. En ces temps de restrictions budgétaires, on demande aux bibliothèques de fournir plus de données  sur leur impact et leur pertinence.

L’un des défis majeurs est le choix de la bonne méthodologie. Les grandes enquêtes valent le coup mais développer et tester le questionnaire, analyser les résultats peut être très chronophage pour les enquêteurs. Réalisées trop fréquemment, les enquêtes peuvent laisser un sentiment de fatigue pour les usagers et les enquêteurs pourraient obtenir un faible taux de réponses. Les enquêtes administrées sur papier ou en ligne sont faciles à ignorer ou supprimer. Les focus groups et les entretiens individuels sont compliqués à planifier particulièrement pour les étudiants les plus occupés, et peuvent s’avérer très prenantes pour les enquêteurs. Les bibliothèques de GSU espèrent répondre à ces défis en proposant un nouvel outil, mobile et utile (l’ipad) dans la boîte à outil de l’évaluateur.

Bénéfices

Les enquêteurs ont construit une étude-pilote (sur des bases non scientifiques) pour tester la viabilité de l’iPad (un bloc-note numérique) en tant qu’outil de recueil de données. L’iPad représente une nouvelle approche du recueil de données pour les enquêteurs avec trois principaux bénéfices par rapport aux méthodes traditionnelles d’évaluation comme les enquêtes en ligne, ou les sondages papier en face à face.

Le premier bénéfice est la nouveauté et l’attraction de l’outil qui pourraient encourager l’intérêt des étudiants pour l’enquête. L’aspect tactile et le contact direct avec l’outil sont supposés plonger l’enquêté dans le processus de recueil de données d’autant plus si l’enquête est brève et ciblée.

Le deuxième bénéfice est la portabilité et la légèreté de l’outil qui peuvent accentuer le côté “homme de la rue” (man on the street). On suppose que la portabilité de l’ipad permettra à l’enquêteur de rencontrer les usagers là où ils se rassemblent naturellement, en comparaison de l’envoi passif de questionnaires en ligne ou des tentatives de planifier un rendez-vous. L’iPad a un avantage par rapport au téléphone ou aux autres terminaux mobiles, c’est la taille de l’écran, plus large tout en restant portable, permettant d’afficher plus de contenus et d’interagir avec les usagers.

Enfin, le logiciel utilisé avec l’iPad compilera les données automatiquement de manière plus efficace pour les enquêteurs. Il était important que la solution ou l’application retenue soit assez intuitive pour l’enquêté tout en proposant assez de flexibilité, d’options et d’utilité pour les enquêteurs.

Méthodologie de la première enquête

Test pilote pour les enquêtes par iPad, 2 questions : 1ère : « Pour quelle raison êtes-vous venu à la bibliothèque aujourd’hui ? veuillez nous donner la raison principale ». 10 modalités de réponses par ordre alphabétique, une seule réponse possible.

  • assister à une session de formation dans l’une des salles
  • emprunter un livre, un pc portable, un dvd, un document réservé
  • obtenir de l’aide d’un bibliothécaire
  • se rendre au Coffee Shop
  • rejoindre un groupe de travail
  • étudier seul
  • utiliser un ordinateur pour facebook, les emails, etc.
  • utiliser un ordinateur pour une recherche ou un devoir
  • utiliser la photocopieur ou l’imprimante
  • autre (+ champ libre)

La bibliothèque est très utilisée par les étudiants, mais la direction n’a aucune donnée sur ce que les usagers font dans les murs.

La 2ème question était “quelle est votre matière principale [major]” accompagnée d’un champ de texte  libre. Cette info est comparée aux données recueillies, entre autres infos démographiques, lors de l’entrée (portique avec présentation de la carte d’étudiant). Cela permet de comparer la représentativité de l’échantillon à la population fréquentante.

Les enquêteurs souhaitaient connaître le meilleur format pour la passation du questionnaire. La première version a été conçue à partir de Google Forms, choisi en raison de sa gratuité et de la recommandation de collègue. La seconde version a été conçue avec PollDaddy (sur iOS), l’une des rares application d’enquêtes gratuites et complètes disponible sur l’iTunes Store.

Les deux programmes nécessitaient la création d’un compte gratuit sur leur site respectif en créant un login unique + mot de passe et en fournissant une adresse email. GForms liste 7 types de questions dont choix multiple avec 1 réponse, choix multiple avec plusieurs réponses, échelle de notation. L’outil est basé sur un tableur, avec une limite de 400 000 cellules pour chaque feuille. Les réponses à l’enquête peuvent être visualisées et analysées en s’identifiant avec le compte Google.

PollDaddy propose comme type de questions : champ de texte, choix multiple avec une ou plusieurs réponses, échelle de notation, et plusieurs champs de texte pour des données telles que le nom ou l’adresse. Spécialisé dans l’enquête et le sondage, PollDaddy offre peu d’options avancées. La grille tarifaire est basée sur le nombre d’enquêtes et de réponses par enquête. Le compte gratuit fut choisi car il permettait de proposer jusqu’à 10 questions et 100 réponses par mois. Comme GForms, les résultats sont accessibles et analysables via login/mot de passe.

Le bibliothécaire responsable a surnommé le projet “Guerrilla Style assessment”. Il se promenait dans le bâtiment approximativement 20 minutes chaque jour (entre 9h et 16h) pendant 5 jours et demandait individuellement de compléter le questionnaire. A la fin de la période, 100 étudiants furent approchés pour 93 questionnaires remplis ; le bibliothécaire alternait entre GForms et PollDaddy. Cette méthodologie n’était pas scientifique. La sélection des participants était biaisée et basée sur les étudiants présents dans les salles les plus occupés de la bibliothèque sans prendre en compte les salles de travail silencieux (plus compliqué de déranger les étudiants). De plus, le bibliothécaire a administré l’enquête durant ses heures de travail donc hors soirées et week-end.

Résultats de la première étude

La version iOS de PollDaddy était un choix judicieux pour ce type d’évaluation. Le design est optimisé pour l’écran de l’iPad et les résultats sont téléchargeables offline (l’enquêteur avait plus de liberté pour faire remplir le questionnaire). Une fois les résultats collectés, l’application propose leur chargement en un clic vers le compte PollDaddy où une connexion internet est requise.

La limite des 100 réponses par mois peut constituer un inconvénient. Pas forcément pour l’étude-pilote mais cela pourrait devenir problématique avec des enquêtes simultanées. Le compte gratuit ne permet pas également l’export des résultats. Décevant mais pas bloquant pour une brève enquête.

Quelques problème d’affichage sur l’iPad avec PollDaddy : scrolling sans indication ou item coupé.

GForms a également bien fonctionné. Un formulaire via site web permet de zoomer pour améliorer la lisibilité. Le principal inconvénient est qu’il ne permet pas le recueil de données offline. Un usager doit être connecté pour remplir le questionnaire. Réseau wifi surchargé durant certaines périodes de la journée et signal perdu à certaines occasions.

Résultat  : 1er usage des étudiants : étudier par soi-même. Derniers : emprunter, obtenir de l’aide, attendre une formation (0 réponse)

Méthodologie et résultats de la deuxième enquête

Deuxième enquête-pilote sur la satisfaction des usagers, cette fois. Question unique : « Recommandriez-vous la bibliothèque à vos amis ? » échelle de Likert de 10 niveaux de “pas du tout” à “tout à fait”. Les réponses entre 1 et 7 entrainaient une autre question “Comment la bibliothèque peut-elle s’améliorer pour que votre vote s’approche de 10 ?” Cette question filtre n’était pas disponible sur GForms ou PollDaddy mais l’était sur Zoomerang.

La méthodologie était presque la même que pour le premier test (le bibliothécaire se baladait durant 20 minutes, 5 jours sur 7 entre 8h et 14h). 66 étudiants sollicités, 59 réponses. Moyenne de la première question 8.51. Neuf suggestions d’amélioration (amélioration du réseau wifi, plus d’ordinateurs et plus d’aide pour trouver des trucs).

Discussions et idées pour les projets futurs.

Les résultats des deux études montrent que la portabilité et le côté user-friendly de l’iPad en font un outil idéal pour l’évaluation guérilla (compléter l’enquête en attendant  ou dans ascenseur). Seulement 4 étudiants ont demandé comment fonctionnait l’iPad. La majorité touche intuitivement l’écran et trouve ce qu’il faut faire.

Les étudiants n’ont pas semblé ennuyés par les sollicitations pour l’enquête, cela peut venir d’un « iPad factor » (en plus du coté bref). L’iPad a attisé la curiosité des étudiants et a indirectement servi d’incentive pour participer à l’enquête. Les étudiants posait des questions dessus et voulaient parler de leur propre expérience avec les tablettes ou de leur souhait d’en acquérir.

Compte tenu des résultats des enquêtes-pilotes, la bibliothèque continuera à utiliser les iPad pour des évaluations brèves et ciblées. GForms sera utilisé lorsque l’enquête nécessitera beaucoup de réponses. PollDaddy sera utilisé quand les enquêtes seront courtes, lorsqu’il y aura des problèmes de connexion à internet. Lorsque des fonctionnalités avancées seront nécessaires, Zoomerang sera choisi.

Les prochaines études prévues :

  • tests d’utilisabilité et analyses de préférence pour le nouveau site mobile et le site web du département des collections spéciales et des archives (utilisation d’Usabilla, application de test d’utilisabilité qui génère des heat maps à partir de l’activité des utilisateurs sur les pages)
  • enquête auprès des primo-arrivants lors de l’orientation des nouveaux étudiants
  • enquête sur les usages et préférences en matière de média sociaux pour déterminer le type de présence en ligne de la bibliothèque
  • enquête auprès des usagers et non-usagers directement dans les départements
  • étude confirmatoire des enquêtes longues et des focus groups
  • utilisation de l’enregistrement audio lors d’entretien (recherches ethnographiques)

Taggé , , , .


0 réponses

Suivez la conversation, abonnez-vous au flux RSS des commentaires de ce billet.



HTML possible

ou, répondez à ce billet via trackback.