Dans le chapitre précédent, vous avez qualifié les données issues des entretiens. Dans ce chapitre, vous allez pouvoir faire de même avec les données de formation, aussi appelées données d’apprentissage.
Pour commencer, les données d’apprentissage disponibles diffèrent largement entre l’environnement présentiel et l’environnement distanciel.
En présentiel, l’essentiel des données d’apprentissage est constitué d’évaluations : évaluation initiale et finale des connaissances, évaluation de la satisfaction en fin de formation. Ce faisceau de données est faible, mais il peut tout de même être exploité.
En distanciel, les données sont fonction de la plateforme dont on dispose. Certaines sont communes, comme le temps de connexion, les pages visitées ou les réponses aux tests. D’autres données viennent en complément : participations aux forums, taux de présence d’un élève, d’un groupe, sur une formation ou plusieurs, fréquence d’interaction avec la plateforme, etc. On peut regrouper les données en deux catégories :
le suivi (tracking) ;
la performance.
Le suivi lui-même peut contenir deux sous-catégories que sont le suivi de l’apprentissage et le suivi des interactions.
Voyons en tout cas comment vous pouvez utiliser ces données de formation présentielle et distancielle pour votre audit.
Utilisez les données pour qualifier la prise en charge des utilisateurs
Le parcours de l’apprenant, au delà de l’intérêt actuel pour le design orienté utilisateur, est utile à l’audit. En effet, dans un audit de pertinence interne ou d’efficience, le parcours de l’apprenant prend tout son sens. Si un apprenant peut atteindre les objectifs sans recourir aux ressources pédagogiques, cela signifie plusieurs choses :
que la ressource n’était pas utile, donc qu’il y a une perte d’efficience (car la ressource a dû être produite ou collectée) ;
que la formation n’est pas conçue correctement : il y a une erreur de définition des prérequis du public ;
que les moyens pédagogiques ne correspondent pas aux attentes des participants. C’est un défaut pour la cohérence interne de la formation.
Dans l’environnement présentiel, ce type de configuration peut être observé par une faible progression entre évaluation initiale et finale et un manque de satisfaction sur les méthodes pédagogiques et/ou les apprentissages réalisés pendant la formation.
Dans l’environnement distanciel, c’est le temps de connexion et l’accès aux ressources qui constituent des indicateurs fiables.
Dans certains cas de figure, le distanciel et le présentiel permettent de faire la différence entre logique de moyens et de résultat. Si le référentiel cherche à déterminer dans quelle mesure les parcours de formations sont individualisés, par exemple, la modalité présentielle pourra surtout présenter les moyens qui ont été mis en œuvre pour individualiser l’offre. Les données d’apprentissage pourraient ne pas indiquer si oui ou non les modules suivis étaient réellement ceux qui étaient attendus.
Dans la modalité distancielle, l’absence de contrainte réelle fait que les parcours réalisés sont plus proches des parcours espérés (les utilisateurs se contraignent peu à suivre en ligne une formation ou un module qui ne les intéresse pas). En ce sens, le distanciel pourra présenter une logique de résultats sur cette individualisation (à condition de ne pas mélanger diversité et individualisation : la seconde nécessite un choix explicite de la part de l’utilisateur).
En général, l’environnement présentiel proposera peu de données, à partir desquelles vous devrez inférer des conclusions. L’environnement distanciel, lui, peut regorger de données, mais vous demandera de sélectionner les bonnes données et de leur appliquer les traitements appropriés.
La comparaison entre environnement présentiel et environnement distanciel n’est que rarement pertinente. Par exemple, si vous prenez les statistiques d’un MOOC, vous observerez que le taux de complétion est très faible. En général, il est d’approximativement 5 % ; c’est évidemment une valeur qui n’est pas comparable avec le présentiel, où l’engagement ne répond pas aux mêmes logiques.
Utilisez les données pour mesurer des niveaux de performance
Les niveaux de performance de la formation sont classiquement représentés par la taxonomie de Kirkpatrick, qui propose quatre niveaux de résultats:
la satisfaction ;
les apprentissages ;
les transferts ;
les résultats.
Cette taxonomie peut vous servir pour votre audit. Il est important de déterminer les données utiles à votre audit : elles ne seront pas forcément les mêmes pour un audit de pertinence interne ou externe, ou un audit d’efficacité.
Le point qui peut poser une difficulté dans l’audit est de déterminer pour ces indicateurs une valeur de référence. Ces valeurs de référence doivent elles-mêmes être définies par un document de l’organisation.
Voici deux écueils à éviter concernant les valeurs :
Une valeur très proche de 100 % de réaction/apprentissage/… est pour ainsi dire inaccessible, sauf à avoir des apprenants exceptionnels. Cela peut donc être une exception, mais pas une valeur de norme.
Une valeur particulièrement basse, par exemple 50 % de satisfaction sur une action de formation. À partir du moment où une valeur n’est pas meilleure que le hasard, c’est que l’action de formation était inutile (on considère que la valeur est celle du hasard quand elle est à peu près égale à la probabilité).
Si vous rencontrez ce type de valeurs, il convient de signaler dans votre rapport que ces valeurs ne participent pas à une amélioration continue.
C’est d’ailleurs un point de repère : l’audit, de manière générale, sert à ce que l’organisation évolue de manière positive, qu’il serve l’amélioration continue (si on veut utiliser le vocable de la qualité).
Enfin, les données d’apprentissage peuvent vous renseigner également sur les préconisations à formuler. Si certains indicateurs sont positifs et ont une corrélation, sans doute faut-il pérenniser la bonne performance sur ces indicateurs.
Dans ce chapitre, vous avez identifié comment utiliser les données d’apprentissage : comme éléments de description du système, comme aide au diagnostic ou comme aide aux préconisations. De manière plus générale, les données dont vous disposez vous permettent de formuler une synthèse de l’audit. Cela correspondra au cœur de votre rapport d’audit. Que diriez-vous de voir ça dans le chapitre suivant ?
