Skip to content


L’évaluation des services de référence en ligne (Fin)

Posté dans Service de référence en ligne.

ceci_nest_pas_un_logoAprès ce petit tour des questions d’évaluation des services de référence en ligne (n°1, n°2, n°3, n°4, n°5), il est temps de présenter le nôtre. Vous trouverez, donc, ci-dessous un résumé du plan d’évaluation de notre service de référence virtuelle.

C’est une première version qui contient encore des interrogations et qui subira obligatoirement des modifications en fonction des possibilités de l’application ou des ressources disponibles. Je mets également en ligne le plan d’évaluation détaillé (avec les méthodes de recueil envisagées, les périodes de production, les particularités et l’adéquation éventuelle à une norme).

Les commentaires, remarques ou critiques sont les bienvenus.

Ce plan d’évaluation s’articule en trois point : l’évaluation de l’activité, de la satisfaction et de la pénétration du service.

Évaluer l’activité

Piloter l’activité du service à partir d’un tableau de bord composé d’indicateurs éprouvés, si possible conformes aux normes ISO 11620 et ISO 2789.

Statistique/Indicateur Objectif
Nombre total de questions posées par voie électronique Déterminer le volume de l’activité du service.
Nombre de demandes postées via le formulaire Déterminer le volume de l’activité asynchrone.
Nombre de sessions de chat Déterminer le volume de l’activité synchrone.
Durée moyenne d’une session de chat Évaluer la durée moyenne d’une session de chat.
Durée moyenne d’une réponse à une question par formulaire Déterminer si le service répond aux requêtes dans les délais impartis.
Répartition par type de questions posées Déterminer la répartition des requêtes selon le type de questions posées.
Répartition des requêtes par jour de la semaine / par heure de la journée Déterminer la répartition du volume de requête sur la semaine et sur la journée afin de, le cas échéant, modifier l’organisation du service au public.

Après une période minimale de fonctionnement (env. 12 mois ou une masse critique de données), nous pourrons envisager d’introduire des indicateurs d’activité liés à la qualité des réponses.

Évaluer la satisfaction

Évaluation de la satisfaction et de la qualité du service en 3 volets :

Statistique/Indicateur Objectif
Évaluation de l’interaction Mesurer la satisfaction de l’usager suite à l’utilisation du service.
Évaluation de la qualité du service Déterminer la qualité globale du service proposé (en dehors de l’interaction, déjà évaluée)
Évaluation de la satisfaction du personnel Mesurer la satisfaction du personnel vis à vis du service de référence en ligne (conditions de travail matérielles, organisationnelles, etc.).

Évaluer la pénétration du service

Déterminer la pénétration d’un service innovant et en construction ainsi que son influence dans les pratiques de renseignements des établissements.

Statistique/Indicateur Objectif
Connaissance de l’existence du service
Déterminer quel % des membres des universités du RUOA ont connaissance de l’existence du service.
Part des renseignements électroniques sur le nombre total de renseignement Établir la part des demandes de renseignement transmises par voie électronique (mail, formulaire web, chat) sur la totalité des demandes de renseignement et ainsi déterminer le taux de pénétration du renseignement par voie électronique. Répété plusieurs années (tous les 2 ans par roulement entre les établissements participant), cet indicateur pourrait permettre de mesurer l’évolution du service dans les pratiques de renseignement des usagers.

Composition et hiérarchisation du plan d’évaluation par méthode employée

Afin de simplifier les pistes évoquées ci-dessus, voici un résumé établi en fonction des méthodes de production employées et de leur priorité dans le plan d’évaluation.

Méthodes Priorité Contenu
Tableau de bord

Haute

Essentiel pour le pilotage du service. Indicateurs mesurant le volume et la répartition de l’activité.

Dans le meilleur des cas, données extraites du module Administration de QuestionPoint, sinon voir Semaine-test.

Questionnaire systématique

Haute

Méthode intégrée par défaut dans l’application QuestionPoint.

Questionnaire court, en ligne visant à mesurer la satisfaction de l’usager vis à vis du service qu’il vient d’utiliser.

Questionnaire annuel ou bisannuel

Moyenne

Questionnaire en ligne pour les usagers et non usagers visant à mesurer la qualité du service proposé (et non plus la simple satisfaction), la connaissance de l’existence et, éventuellement, d’autres informations à préciser.

Questionnaire annuel pour les professionnels

Moyenne

Questionnaire en ligne visant à mesurer la satisfaction des personnes-relais et à proposer des améliorations.

Semaine-test annuelle ou bisannuelle

Haute

Unique moyen de récupérer certaines données pour le tableau de bord si elles ne sont pas extractibles du module Administration.

Faible

Calcul de la part du renseignement en ligne sur le volume total de renseignement permettant l’évaluation de la pénétration des requêtes électroniques dans les pratiques de renseignement.

Taggé , , , .


3 réponses

Suivez la conversation, abonnez-vous au flux RSS des commentaires de ce billet.

  1. bibliobsession dit

    Il me semble qu’il manque une évaluation de la consultation des réponses une fois qu’elles ont été envoyées au demandeur final. Si les réponses sont publiées sur un site web (ex : le guichet du savoir), il me semble intéressant d’évaluer la fréquentation par réponses ou thèmes sous lequel elles sont indexées pour connaître les réponses les plus populaires…

    De même, la nature des requêtes (renseignement bibliographiques ? questions pratique sur le focntionnement de la bibliothèque, etc.) pourrait servir à l’évaluation de la qualité du service non pas de « question réponses » mais de l’efficacité de la bibliothèque à répondre à des besoins documentaires, non ?

  2. Nicolas dit

    @bibliobsession : la consultation des réponses (appelées Base de connaissance dans QuestionPoint) est, comment dire, un sujet épineux (en gros, OCLC nous refait payer un copie « propre » des questions-réponses de notre service). La base a tout de même besoin d’une masse critique pour être pertinente (Le Guichet avait proposé une nouvelle mise en forme des réponses, par catégorie, plus d’un 1 an après le lancement, il me semble). Mais sinon, sur le fond, oui tout à fait, c’est un autre paramètre à prendre en compte.

    Sur la nature des requêtes, une catégorisation des questions-réponses est prévue. Ensuite, on pourra analyser les données dans le sens qu’on veut. Il sera toutefois difficile de relier précisement ces données à l’une des bibliothèques des 7 établissements.

Poursuivre la discussion

  1. Rue des Facs, le nouveau service de réponses à distance des bibliothèques universitaires parisiennes | MEDIATHEQUE2010.FR - PROSPECTIVES Lié ce billet on 23 janvier 2009

    […] Et comme lancer un service c’est bien mais l’évaluer c’est mieux, et je vous recommande ce billet très complet de Nicolas sur l’évaluation des services de référence en ligne. […]



HTML possible

ou, répondez à ce billet via trackback.