Les caractéristiques de l’évaluation par compétences
À partir du niveau 3 d’évaluation, on parle d’évaluation par compétences. Par définition, l’évaluation par compétences nécessite d’évaluer le processus et non uniquement le résultat : le moniteur d’auto-école est dans la voiture avec l’apprenti conducteur. Cela veut dire que l’on ne peut pas évaluer des compétences en regardant juste le résultat final. On ne peut donc pas évaluer toutes les compétences en mettant en place un examen final écrit en temps limité.
Comment évaluer le processus, alors ?
Une façon simple consiste à regarder les apprenants en train de réaliser leur projet, et d’évaluer « au fil de l’eau ». C’est ce que l’on fait dans un stage, par exemple. Une autre façon de faire consiste à demander aux apprenants de documenter leur processus. Par exemple, si vous demandez à des élèves de préparer un exposé oral, une soutenance, vous pouvez leur demander d’écrire un carnet de bord détaillant leur démarche. Vous pouvez également les évaluer plusieurs fois, en corrigeant leurs supports avant l’exposé final ou en faisant des soutenances blanches.
Une autre caractéristique de l’évaluation par compétences, c’est qu’elle dépend du contexte. On peut savoir conduire sur une route de campagne, mais pas en ville sur la place de l’Étoile, par exemple. De plus, les compétences sont soumises à des phénomènes d’oubli.
Pour valider l’acquisition d’une compétence, il est donc nécessaire de sortir d’une certaine notion linéaire de l’évaluation. On pourrait s'imaginer que la formation change les compétences de l’apprenant, et qu’il suffit de mesurer ce qu’il sait faire au début et à la fin et de comparer les deux pour pouvoir évaluer les acquis.
Le problème, comme on l’a dit, c’est que l’apprenant peut savoir faire le jour de l’évaluation, mais pas la semaine d’après (pensez au bachotage). Il peut aussi savoir faire dans le contexte de l’évaluation, forcément un peu artificiel, mais pas dans une situation réelle. Par exemple, sur une formation “produit d’assurance”, vous évaluez les apprenants sur des jeux de rôles de vente. Comment être sûr qu'ils vont réussir en situation réelle, avec le stress induit, notamment ?
Dans cette logique linéaire de la formation, la seule chose que vous pouvez évaluer, c’est la performance des apprenants le jour de l’évaluation. Cela peut être intéressant, voire indispensable, car certains commanditaires nous demandent cette évaluation-performance de fin (par exemple, si vous enseignez à l’université et que l’évaluation obligatoire est un examen écrit final en temps limité).
Ici, on considère que les compétences de l’apprenant changent sans cesse, pas forcément en s’améliorant, pas forcément à cause de la formation.
On va donc évaluer plusieurs fois les compétences, dans des contextes différents. Ces contextes seront de plus en plus complexes, en se rapprochant au fur et à mesure de la formation aux situations “réelles”, telles qu’expérimentées dans la réalité professionnelle. C’est ce que l’on appelle le calibrage.
Évaluation par compétences :
Plusieurs fois.
Dans des contextes différents.
Sur production finale et processus.
Une des façons les plus simples de réaliser cela, c’est la pédagogie de projet, telle qu’on la met en place à OpenClassrooms, par exemple. Si vous êtes abonné premium +, vous participez à plusieurs projets, mobilisant de plus en plus de compétences dans des contextes de plus en plus complexes.
Pensez à comment vous pouvez transférer cette pédagogie dans vos formations, cela rendra l’évaluation des compétences d’autant plus facile. Cela peut être par exemple en demandant à vos apprenants de monter des dossiers, des exposés, des études de cas, etc.
Dissociez rendu final et apprentissage
Il est important de dissocier l’évaluation des apprentissages (ce que l’apprenant a appris) de l’évaluation du projet (est-ce que le rendu final est satisfaisant ?). Traditionnellement, on considère que, si le rendu final est satisfaisant, c’est que l’apprenant a acquis les compétences liées. C’est un raccourci qui est à la source de beaucoup de problèmes.
Dans une démarche de projet, par exemple, on va distinguer évaluation du projet et évaluation des apprentissages.
La question à se poser en tant qu’évaluateur, ce n’est pas “Qu’est-ce qui fait que le projet est réussi ?”, mais “Quels sont les apprentissages que les apprenants doivent maîtriser pour réaliser ce genre de projet ?”. Ces apprentissages-là seront évalués de façon séparée, et pas forcément sur le rendu final.
Ce que vous venez de déterminer, en vous posant la question “Qu’est-ce que les apprenants doivent maîtriser pour réussir l’exercice ?”, c’est ce que j’appelle les indicateurs de maîtrise.
Le principe de l’évaluation par validation est très simple : l’apprenant est validé sur l’objectif pédagogique s’il valide les indicateurs de maîtrise correspondants un certain nombre de fois (personnellement, je demande 2 à 3 fois en fonction de la durée de la formation). Cela permet de s’assurer que les savoir-faire et savoirs ont été mobilisés dans différents contextes, et d’ancrer les apprentissages à long terme, car on demande à l’apprenant de les réactiver régulièrement.
À noter que cette évaluation peut arriver sur des tâches d’évaluation proprement dite, comme l’examen final ou une soutenance. Vous pouvez également valider les apprenants sur toutes les activités de la formation, même si elles n’étaient pas pensées à la base comme des activités évaluées. Cela vous permet d’introduire de l’évaluation formative partout dans votre formation, et on sait que cela aide les apprenants à progresser.
Cela veut dire également qu’il faut prévoir un outil de suivi de validation, pour les apprenants et pour vous. J’utilise personnellement un fichier “Google Sheet” partagé en lecture aux apprenants. Cela leur permet de voir en temps réel où ils en sont de leur validation, et ainsi de travailler les points manquants.
Les intérêts de cette méthode d’évaluation sont nombreux
Tout d’abord, il s’agit d’une évaluation formative positive ne pénalisant pas l’erreur. Si un apprenant ne réussit pas à valider un indicateur sur une activité, il pourra réessayer sur l’activité suivante. Et on sait que cela aide beaucoup l’apprentissage.
De plus, avec ce système, chaque apprenant peut demander à être validé au moment où il le souhaite, c’est-à-dire quand il est prêt et qu’il pense qu’il va réussir. Cette façon de faire joue de façon forte sur l’engagement et la motivation des apprenants.
Il y a quelques inconvénients auxquels il faut faire attention avant de la mettre en place :
La culture de l’évaluation déjà en place et la flexibilité du commanditaire. Cette pratique est assez loin de ce qui se pratique habituellement. À vous de voir si ce système ne bousculera pas trop de choses.
La culture et les compétences d’autorégulation des apprenants. En effet, c’est à eux de se prendre en charge pour valider les indicateurs avant la fin du temps imparti. S’ils ne demandent rien, ils sortiront non validés, ce qui est à éviter.
Cela demande du temps (comme tout apprentissage profond). Il est donc indispensable que votre formation dure au minimum plusieurs mois.
Limitez le nombre d’indicateurs de maîtrise
Mais 5 objectifs avec chacun 5 indicateurs de maîtrise, cela veut dire 25 indicateurs en fin de compte. Cela ne fait pas beaucoup ?
Si, à priori trop. Encore une fois, il est important de cibler ses objectifs pédagogiques évalués. Une évaluation niveau 3 prend du temps, beaucoup de temps, pour l’apprenant et le formateur. Ne la réservez donc qu’aux objectifs pédagogiques vraiment clés.
Autre astuce : un même indicateur de maîtrise peut servir sur plusieurs objectifs pédagogiques, comme l’indicateur “travailler en groupe”, que les apprenants mobiliseront souvent.
Tout cela permet de garder un nombre d’indicateurs raisonnable.
Définir les indicateurs de maîtrise
Les indicateurs de maîtrise et les critères de réussite, c'est la même chose ?
La plus grosse différence entre ces indicateurs de maîtrise et les critères de réussite vus dans la partie 2, c’est que les critères de réussite sont contextualisés : ils dépendent de la tâche demandée. Les indicateurs de maîtrise, eux, ne le sont pas. Vous pouvez évaluer “savoir travailler en équipe” quel que soit le sujet, du moment qu’il y a un travail en équipe.
Une bonne façon de vous assurer que vos indicateurs de réussite sont centrés sur l’activité apprenante, c’est de regarder sur combien d’activités de la formation cet indicateur est mobilisable et donc évaluable. Si vous êtes en dessous de 25 %, c’est parce que vous êtes trop près de la tâche.
À noter que certaines fois, on se retrouve obligé de modifier sa séquence pour coller à l’évaluation. C’est normal, l’évaluation est le but, et le séquençage est le chemin. Les deux doivent être pensés en parallèle pour plus d’efficacité.
Définir les observables
De plus, les indicateurs de maîtrise ne sont pas forcément évaluables lorsque l’on regarde uniquement le résultat final. Comment savoir si votre groupe d’apprenants a bien travaillé ensemble en regardant juste leur présentation finale ? Il s’agit peut-être d’un bon travail individuel, et trois apprenants se sont juste tourné les pouces. Ce n’est pas vraiment ce que l’on attend du travail d’équipe.
Sur l’indicateur “travailler en équipe”, cela peut être de demander aux groupes de fournir un carnet de bord résumant les objectifs de leurs sessions de travail, des comptes-rendus de ces sessions de travail pour voir ce qui s’y est passé, ou alors la liste des tâches réalisées par chacun.
N’oubliez pas les outils numériques et les learning analytics qui sont des observables importants. N’hésitez pas à aller voir le cours sur le blended learning pour en savoir plus.
Définir les paliers de maîtrise
Rappelez-vous, le but des indicateurs de maîtrise est de valider les apprenants sur chacun de ces indicateurs, et donc des compétences.
Une fois la liste des indicateurs de maîtrise établie avec les observables associés, il faut donc définir des paliers de maîtrise.
C’est exactement la même logique que pour les critères de réussite vus précédemment, mais appliquée cette fois-ci aux indicateurs, et non à la performance.
La question est donc : “Quel est le minimum que l’apprenant doit me montrer pour que je considère que l’indicateur est validé ?” Ce minimum sera évalué sur les observables. Il devra être suffisamment clair pour que l’on puisse dire à l’apprenant “oui c’est validé” ou “non, pas cette fois” ; pas de demi-teinte ou de “en cours d’acquisition”.
Pour résumer :
Les indicateurs de maîtrise :
décrivent l’activité de l’apprenant (et non le résultat d’une performance) ;
sont associés à un observable ;
sont en nombre limité ;
dépendent fortement du public apprenant visé ;
sont évaluables sur 40 % des activités de la formation (jamais moins de 25 %) ;
sont associés à des paliers de maîtrise permettant de les valider.
Cas particulier de l’évaluation de niveau 4
La grande différence entre le niveau 3 et le niveau 4 est que ce dernier étant en situation naturelle, il n’y aura donc pas de sujet d’évaluation à construire. L’évaluation consistera à observer l’apprenant au fil de l’eau. Des indicateurs de maîtrise seront déterminés, comme pour le niveau 3, et seront validés au fur et mesure de la pratique réelle de l'apprenant.
