Dans le chapitre précédent, vous avez préparé votre audit en vous concentrant sur le “quoi” : la lettre de mission, les objectifs, le périmètre... Cela est un bon cadrage et vous permet d’envisager la phase opérationnelle. Vous allez pouvoir le faire dans ce chapitre, en déterminant une méthodologie de collecte.
En premier lieu, pendant l’audit, vous allez accumuler nombre d’informations : entretiens (et leurs comptes-rendus), documents de l’entreprise, documents sur l’environnement technique et économique, lettre de mission, référentiel, organigramme, procédures… Vous avez donc intérêt à organiser tout cela.
Déterminez les informations dont vous aurez besoin
Dans une organisation, il est vite possible de se perdre dans la masse d’informations produites et disponibles. Déterminer les informations qui vous sont nécessaires a pour but principal de gérer le volume d'informations dont vous allez disposer ensuite.
Voyons un premier cas de figure. Vous souhaitez auditer l’efficacité d’un groupe d’action de formation. Les informations dont vous allez avoir besoin sont :
Un document de référence qui détermine comment on construit cette notion d’efficacité. Ce document peut être la lettre de mission ou la reformulation faite par l’auditeur de cette lettre.
Des éléments d’efficacité de la production pédagogique, c'est-à-dire des éléments qui tendent à prouver que des moyens ont été mis en œuvre pour délivrer des contenus, pour aider au développement des compétences. Par exemple, on vérifiera qu’un formateur a bien proposé des mises en application qui correspondent au niveau de compétence visé par la formation.
Des éléments d’efficacité du transfert pédagogique (ou de l’acquisition), c'est-à-dire de la manière dont les stagiaires ont intégré ce qui a effectivement été délivré par les formateurs.
Si cela entre dans la définition de l’efficacité, des informations relatives à l’insertion professionnelle après la formation. Dans notre définition des types d’audit, cela entre plutôt dans la pertinence externe, mais la classification est moins importante que les objectifs fixés à l’audit.
Deuxième cas de figure : vous menez non plus un audit d’efficacité mais d’efficience sur les mêmes actions de formation. Il va falloir collecter, en plus des informations ci-dessus, des informations relatives aux coûts de cette formation.
Il serait possible de décliner cet exemple sur d’autres types d’audits. En tout cas, ce qui va déterminer les informations nécessaires, ce sont les objectifs de l’audit et le référentiel d’audit s’il existe. Votre objectif est d’identifier toutes les informations nécessaires pour répondre aux critères compris dans ces documents de référence (lettre de mission et référentiel).
Lorsque le nombre d’informations tend à devenir trop important pour que vous ayez une vision claire, construisez des catégories d’informations (et des sous-catégories si nécessaire). Vous devriez obtenir au fur et à mesure une architecture de l’information requise.
Déterminez vos sources de collecte
Les documents
Vous devrez également, dans l’audit, essayer de coller le plus possible à la réalité de l’organisation. Pour ce faire, vous aurez besoin d’utiliser des informations qui déterminent les processus et les procédures, c'est-à-dire l’activité telle qu’elle est prévue, et des informations qui déterminent l’activité telle qu’elle se déroule réellement : données de formation, comptes-rendus, etc.
Si vous devez déterminer l’efficacité de la production pédagogique, par exemple, vous allez chercher des documents qui fixent le cadre pédagogique de la formation : un cahier des charges, un référentiel, un programme détaillé… Au sein de ces documents, vous pourrez trouver les informations qui définissent comment les objectifs pédagogiques sont censés être atteints : contenus délivrés, types de mises en application, etc. Si cela n’est pas défini, cela signifie que les pratiques ne sont pas cadrées… L’audit interprétera cela comme un risque. Si ces documents le définissent, l’auditeur pourra aller plus en profondeur. Il pourra notamment vérifier :
que la personne qui a produit ces documents était compétente pour le faire ;
que ces documents ont été diffusés aux formateurs ;
que ces derniers connaissent le niveau d’obligation lié à ces documents (sont-ils de simples guides ou doivent ils être scrupuleusement respectés ?).
En tout cas, les documents vont vous donner une première idée de ce que vous pourrez recueillir comme informations. Pour être méthodique, n’hésitez pas à avoir un tableau de correspondance qui indique quel type d’informations vous trouvez dans quels documents.
Les entretiens
Bien sûr, vous n’allez pas arrêter votre collecte aux documents qui indiquent comment les choses sont censées se passer. Votre jeu de données doit aussi contenir des informations sur les pratiques réelles, et ces pratiques, idéalement, doivent être documentées.
C’est à ce moment-là que vous allez pouvoir déterminer votre guide d’entretien, c'est-à-dire les questions ou les sujets que vous souhaitez aborder avec les audités.
Plutôt que votre guide d’entretien, c’est “vos guides d’entretiens” que vous allez devoir préparer. Souvenez-vous : en début de cours, nous avions parlé des parties prenantes. Nous avions parlé de Marc, gestionnaire administratif, Silvia, responsable formation, Hamid, manager et d’autres encore (notamment des stagiaires). Vous allez donc devoir prévoir un guide d’entretien pour chaque fonction que vous allez rencontrer.
Enfin, en audit de formation, vous pourrez mobiliser une source qui peut s’avérer riche : les données des apprenants.
On en distingue deux types :
les données d’appréciation ou d’évaluation de la formation (typiquement, les bilans de fin de session) qui donnent des informations sur la perception de la formation par les stagiaires ;
les données d’apprentissage, qui sont surtout présentes dans les environnements numériques.
Avec ces données numériques, à vous de bien déterminer à quoi peuvent être utiles les différents indicateurs. Par exemple, un indicateur de durée de connexion à une plateforme n’a pas d’intérêt si en face, il n’y a aucune durée prévisionnelle de module indiquée. Attention également à bien définir vos indicateurs : s’agit-il d’une durée de connexion (durée de la session, automatiquement déconnecté après 15 minutes d’inactivité) ou d’une durée d’activité réelle de l’apprenant sur la plateforme ?
Enfin, si certaines données ne sont apparemment pas disponibles, il est possible de prévoir un test, c'est-à-dire de prévoir une observation d’une activité ou d’un processus. On considérera alors que cette observation est représentative de l’activité, par défaut.
Déterminez votre méthode de collecte
Une fois que vous avez fait cette liste des informations dont vous avez besoin et des endroits où vous pourrez la trouver, il vous reste deux activités à réaliser :
choisir des modes de collecte des données ;
réaliser un échantillonnage représentatif.
Pour le choix des modes de collecte des données, vous allez devoir déterminer, pour l’activité prévue et pour l’activité réalisée, comment vous recueillez les données. Par exemple, que les objectifs pédagogiques prévus seront recueillis dans les cahiers des charges communiqués au client, dans les référentiels pédagogiques prévus pour les formateurs et dans les fiches-actions distribuées aux stagiaires. Pour vérifier l’existence de la diffusion de ces objectifs aux différentes parties prenantes, on prévoira peut-être une observation pour le client, un entretien avec le formateur et un questionnaire auprès des stagiaires.
Un des objectifs de cette méthode de collecte, c’est l’équilibre : équilibre entre données collectées sur le prévu et données collectées sur la réalité, équilibre entre données existantes et données à produire. Dans cette logique d’équilibre, on déterminera un échantillonnage, c'est-à-dire une population représentative de la population générale. Il existe plusieurs techniques d’échantillonnage, qui sont valables pour l’audit.
Planifiez votre collecte
Le temps d’un audit est un temps relativement long : il se compte généralement en semaines, voire en mois en fonction du périmètre et de la taille de l’organisation. De plus, la collecte étant un moment riche, vous avez intérêt à laisser “reposer” un peu entre les différents entretiens, l’analyse des documents, etc.
En effet, un audit qui serait réalisé d’une traite vous laissera sûrement un goût d’inachevé, car vous trouverez des nuances… après coup.
Vous avez donc intérêt à planifier la phase de collecte, en fonction de vos disponibilités, de celles des audités et des échéances auxquelles vous faites face. Pour cette planification, vous pouvez faire appel à des outils classiques comme un planning ou un diagramme de Gantt.
Dans ce chapitre, vous avez appris à construire une collecte d’informations rigoureuse. En fonction de vos contraintes, vous pourrez accentuer ou alléger la rigueur de votre méthodologie. Ensuite, vous aurez à partager cela avec les parties prenantes. Ça, c’est pour le chapitre suivant !
