Faites parler les learning analytics avec l'IA

Comment se servir de l’IA pour analyser des données apprenantes ?

Nous avons posé la question à Ophélie Mure et Ania Khazina, deux ingénieures pédagogiques adeptes des outils d’IA génératives :

Vous souhaitez analyser les résultats d'une formation pour l'améliorer ou tout simplement collecter les besoins des apprenants ? Voyons ensemble comment nous pouvons utiliser l’IA pour cette tâche, étape par étape.

Structurez votre demande

Imaginez que vous avez collecté les évaluations de votre dernière formation. Si votre demande est floue ou mal définie, l'IA peut vous proposer une analyse générale, peu utile. En revanche, avec une requête précise et structurée, vous obtiendrez des réponses directement exploitables.

Étape 1 : Récupérez et nettoyez vos données

Rassemblez les données de vos apprenants

• Résultats des évaluations

• Questionnaires de satisfaction

• Statistiques de progression

• Commentaires des apprenants

Exemple : Vous avez donné une formation sur Excel le mois dernier. Vous avez collecté les notes finales, les réponses à un questionnaire de satisfaction et les commentaires libres des participants.

Pour rendre vos données exploitables par l’IA, et être conformes en matière de RGPD, vous devez maintenant les anonymiser et les nettoyer.

Anonymisez les données (RGPD)

• Supprimez les noms, emails, et toute information permettant d'identifier les apprenants

• Remplacez les identifiants réels par des codes anonymes

Nettoyez les contenus (propriété intellectuelle)

• Assurez-vous de ne pas partager de contenus protégés par des droits d'auteur

• Retirez les références à des documents internes confidentiels

Étape 2 : Définissez votre objectif

Vous souhaitez solliciter l’IA pour vous aider dans l’analyse. Mais avant, il est indispensable de cerner votre besoin. Voici quelques questions à vous poser avant de rédiger votre requête :

• Quel élément précis dois-je questionner ?

• Qu'ai-je envie de savoir concrètement ?

• Comment cette information va-t-elle m’aider ?

Exemple : Vous souhaitez comprendre pourquoi le module 3 de votre formation Excel a reçu des évaluations plus basses que les autres modules.

Étape 3 : Formulez votre requête avec la méthode ACTIF

La manière la plus simple de se faire comprendre est de privilégier des prompts clairs, simples et directs.

Pour structurer votre prompt, pensez ACTIF, une méthode rendue populaire par Matthieu Corthésy :

Exemple de prompt :

"Tu es un expert de l’ingénierie de formation pour adulte.

Analyse les statistiques et les commentaires des apprenants sur la formation Excel (en pièce jointe). Ces données proviennent d’un questionnaire de satisfaction envoyé à la fin de la formation auprès de 20 apprenants débutants sur le logiciel. Le module 3 est le moins engageant. Suis le process suivant :

• Identifie les points faibles du module

• Suggère trois propositions d’amélioration

• Propose une méthode pédagogique alternative

Tu dois adopter un ton synthétique et accessible à un ingénieur pédagogique junior. Présente ton analyse sous forme de synthèse structurée avec des recommandations concrètes et directement applicables."

Décortiquons ce prompt à la lumière de la méthode ACTIF :

Vérifiez les réponses de l’IA

Maintenant que vous savez structurer votre demande, il est temps de vérifier la réponse obtenue !

Comprenez le défi de la fiabilité

Une étude d'OpenAI (fin 2024) a révélé que même ses plus grands modèles de langage pour ChatGPT présentent un taux d'hallucination important (score de réussite inférieur à 40%). Cela signifie que dans la moitié des cas, l'IA peut :

• Inventer des faits qui semblent plausibles

• Citer des sources qui n'existent pas

• Tirer des conclusions erronées

• Affirmer avec certitude des informations inexactes

L’IA est programmée pour répondre à une requête. Elle fera donc tout pour vous répondre, quitte à ce que sa réponse soit erronée. Si vous demandez à une IA d'analyser les raisons d'un fort taux d'abandon dans votre formation en ligne, elle vous proposera les explications les plus probables basées sur ses connaissances générales, et non une analyse factuelle de votre situation spécifique.

Pour remédier à ce fonctionnement, il est nécessaire d’adopter des stratégies de vérification.

Adoptez des stratégies de vérification

1. Demandez les sources : Lorsque l'IA vous fournit des informations factuelles, demandez-lui systématiquement de préciser ses sources. Vous pourrez ainsi les vérifier. 

2. Croisez les outils : Demandez à plusieurs IA de travailler sur un même sujet. Même si le fonctionnement est le même, les données d’entraînement et les algorithmes ne sont pas similaires. Comparez les résultats. 

3. Contextualisez votre requête : lors de la rédaction de votre prompt, apportez tout le contexte nécessaire à l’IA. 

4. Vérifiez auprès d’humains compétents : lorsque vous utilisez l’IA pour travailler sur un sujet que vous ne maîtrisez pas, assurez-vous de vérifier les informations avec un humain compétent.  

5. Utilisez l’IA pour challenger des idées : plutôt que de prendre ses réponses pour vérité absolue, il faut s’en servir pour explorer différentes pistes de réflexion.

Exemple : Imaginons que vous avez demandé à une IA d'analyser pourquoi votre module n°3 est moins satisfaisant que les autres.

Réponse de l'IA :

"Le module Excel a un faible taux de satisfaction principalement en raison du manque d'exercices pratiques et d'une approche trop théorique."

Voici des étapes de vérification :

• Croisez avec d'autres IA :

  • Posez la même question à 2-3 autres IA

  • Notez les convergences et divergences

• Confrontez aux données réelles :

  • Examinez les commentaires originaux des apprenants

  • Y a-t-il vraiment des mentions du "manque d'exercices pratiques" ?

• Testez d'autres hypothèses :

  • Demandez à l'IA d'explorer d'autres explications possibles : "Quelles autres raisons pourraient expliquer ce faible taux de satisfaction ?"

• Validez auprès des apprenants :

  • Organisez un bref sondage ciblé

  • Conduisez quelques entretiens individuels

Utilisez l’IA comme partenaire et non comme oracle

Incarnez le besoin des apprenants

Donner un rôle à l’IA permet de la focaliser sur une thématique et un regard particulier. Une approche efficace consiste à utiliser l’IA pour incarner les besoins des apprenants en simulant un persona basé sur un profil type.

Créez des personas d’apprenants

Un persona est un profil utilisateur type qui représente un segment de votre public cible. Pour créer un persona efficace, donnez-lui un prénom et incluez les éléments suivants :

• Données démographiques : âge, profession, niveau d'études ;

• Niveau de compétence : débutant, intermédiaire, expert ;

• Objectifs d'apprentissage : ce que cette personne veut accomplir ;

• Obstacles potentiels : contraintes de temps, difficultés techniques, manque de prérequis.

Exemple de persona :

Utiliser des personas avec l’IA

Une fois votre persona créé, vous pouvez demander à l'IA d'incarner ce profil pour évaluer votre contenu pédagogique. 

Exemple de prompt :

“Tu incarnes Lucie, 42 ans, responsable marketing dans une PME. Tu as des compétences techniques limitées, tu n'as jamais codé. Tu souhaites comprendre les bases de l'analyse de données pour mieux collaborer avec ton équipe data. Tu disposes d'1h par jour maximum pour te former. Tu préfères les exemples concrets et les applications pratiques. Tu es anxieuse face aux concepts mathématiques.

Analyse le contenu de formation joint et identifie les points de blocage potentiels.

1. Lis le contenu de formation 

2. Identifie les passages qui te semblent difficiles à comprendre

3. Signale les concepts qui nécessitent plus d'explications

4. Suggère des améliorations qui facilitent ton apprentissage

Réponds en tant que Lucie, à la première personne, en expliquant tes difficultés et suggestions de manière concrète.”

Itérez autant que nécessaire

S’il y a bien un réflexe à intégrer dans votre pratique, c’est d’affiner les contenus proposés par l’IA. Vous obtenez une première réponse et souhaitez aller plus loin ? Demandez à l’IA de développer un point précis, ou de modifier un élément. 

Testez plusieurs combinaisons, continuez le dialogue et utilisez les retours pour ajuster et affiner votre contenu pédagogique.

À vous de jouer !

Consigne

Identifiez un cas sur lequel vous souhaitez travailler (comme analyser les données d’un questionnaire de satisfaction pour ajuster les contenus, ou encore, analyser les évaluations diagnostiques des apprenants pour personnaliser la formation).

1. Rédigez votre prompt avec la méthode ACTIF. Pensez à bien nettoyer vos données avant de les envoyer dans l’IA ! 

2. Créez ensuite un persona pour challenger ou pour répondre aux questions soulevées par votre analyse. 

3. Affiner et itérer autant que nécessaire, jusqu’à obtenir les réponses les plus pertinentes ! 

Pistes de réflexion

• Avez-vous bien nettoyé votre fichier ? Il suffit d’enlever les premières colonnes et de remplacer les noms par “Apprenant 1”, “Apprenant 2”, etc. 

• Votre prompt est-il bien structuré ? Vous pouvez donner le rôle d’ingénieur de formation ou de Data Analyst en formation à l’IA. Précisez que vous souhaitez une analyse quantitative et qualitative, illustrée par les verbatims. Vérifiez que l’IA n’hallucine pas.

• Comment avez-vous construit votre persona ? Vous pouvez utiliser le persona de Lucie pour challenger votre contenu. Le module 3 est le moins bien noté par les apprenants. Questionnez Lucie en vous appuyant sur les verbatims. Que faudrait-il modifier dans la formation pour obtenir des notes plus élevées ? 

En résumé 

• Structurez votre demande à l’IA : comme dans un dialogue, rédiger un prompt nécessite de construire une requête logique et claire.

• Attribuez un rôle à l’IA pour challenger vos idées mais vérifiez toujours le contenu proposé, surtout quand il s’agit de faits.

• Privilégiez l’IA comme un apporteur d’idées plutôt que comme un apporteur de contenu. 

• Affinez et itérez autant que nécessaire : les premières réponses ne sont pas satisfaisantes ? Demandez à l’IA de préciser ou de modifier des éléments.         

Vous avez analysé des learning analytics grâce à l’IA ; passons maintenant à une autre tâche métier : la scénarisation d’une séquence de formation !