Récolter des données, c'est bien, mais il faut veiller à ce qu'elles soient pertinentes. C'est ce que nous allons voir dans ce chapitre.
Collectez assez de données
En soi, les données sont des informations objectives et neutres. Elles vont donner des indications sur la façon dont les utilisateurs se comportent, sur ce qu’ils font, comment et pendant combien de temps, etc.
Pour autant, si la data ne ment pas, elle donne peu d’informations sur le contexte d’utilisation et donc sur votre utilisateur. Il ne faut pas oublier que derrière ces « simples » chiffres, des utilisateurs avec des situations très différentes (stress, urgence, mauvaise connexion, environnement bruyant…) sont bien réels. Une moyenne peut donc difficilement représenter tous les usages.
Pour mener une analyse juste, il faut réussir à collecter un nombre de données significatif. Analysez-en trop peu et vous prenez le risque de tirer des conclusions qui ne sont pas représentatives de l’ensemble de vos utilisateurs. Si seulement 10 personnes ont visité une page, les chances que des biais apparaissent sont énormes.
Il est donc recommandé d’avoir au moins 1 000 utilisateurs pour mener une analyse quantitative pertinente. Sinon, préférez une analyse qualitative qui vous permettra de mettre directement le doigt sur les problèmes de votre produit.
De plus, votre analyse doit être menée dans une optique d’amélioration ou d’optimisation du produit ou du service. Pas la peine de mener une étude si vous ne comptez pas vous servir des résultats. Il est important que l’analyse mène à des prises de décisions UX. D’autant que plus une décision UX est importante, plus elle doit s'appuyer sur des données significatives.
Comprenez ce que cachent les données
Kate Rutter, une UX designer américaine, renforce l'idée qu'il est important d’avoir des métriques pertinentes. À un sommet UX de Londres en 2018, elle a donné une conférence intitulée "Trouver le récit dans les nombres : tirer le meilleur des métriques". Elle aborde la façon dont les métriques peuvent être regardées à travers des mots, des photos et des chiffres, pour acquérir une vision plus générale de l’action des utilisateurs. Dans sa conférence, elle demande : “Qu’est-ce que nos utilisateurs peuvent faire avec nos produits, et que ne peuvent-ils faire sans ?”
Dans sa conférence, Kate Rutter étudie les choses qui font d’une métrique banale une métrique géniale. Elle classe les métriques afin de montrer comment les rendre plus utiles pour mieux comprendre le comportement des utilisateurs :
les métriques inutiles : les inscriptions ;
les “vanity metrics” : le nombre total d’utilisateurs enregistrés ;
les bonnes métriques : le pourcentage de nouveaux utilisateurs par semaine ;
les meilleures métriques : le pourcentage d’utilisateurs qui se sont connectés plus de trois fois par jour en une semaine ;
les super métriques : le pourcentage d’utilisateurs qui partagent une tâche plus de trois fois par jour en une semaine.
Identifiez les “Vanity metrics” de votre projet
Pour compliquer encore plus l’identification des données actionnables, il existe des données basiques qui, au premier abord, semblent pertinentes, mais se révèlent finalement vides de sens : il s'agit des “vanity metrics”.
Dans le livre "Lean Analytics : Use Data to Build a Better Startup Faster", les auteurs, Alistair Croll et Benjamin Yoskovitz, définissent les vanity metrics comme étant une "donnée sur laquelle on ne peut pas agir". En d'autres termes, ces métriques présentent des informations qui ne sont pas utiles, car elles ne peuvent pas se transformer en changements que vous pourriez apporter pour améliorer votre design.
Par exemple, savoir combien d'utilisateurs vous avez sur votre plateforme peut sembler satisfaisant. Mais s'ils s'inscrivent et ne reviennent plus jamais, ce n'est pas un scénario idéal. Les designers UX et les chefs de produit doivent se préoccuper davantage des utilisateurs actifs. En vous renseignant sur les comportements et les actions des utilisateurs actifs, vous pourrez utiliser ces informations pour mieux éclairer votre approche des autres parties d'un produit ou d'un site.
Un utilisateur actif est quelqu’un qui utilise régulièrement un produit. C’est à chaque entreprise de définir exactement ce qui caractérise un “utilisateur actif”. Est-ce quelqu’un qui se connecte plus d’une fois par jour ? Est-ce quelqu’un qui complète une tâche plusieurs fois par semaine ? Est-ce quelqu’un qui est en contact avec la communauté ?
Voici quelques exemples de “vanity metrics” que vous devriez connaître :
Nombre de visites d'une page web : cette donnée n’indique pas le nombre d’utilisateurs du site, mais le nombre de fois où il est affiché : cela comprend les utilisateurs certes, mais aussi les robots, les gens qui arrivent dessus par erreur, etc.
Nombre de pages vues : plus précisément le nombre de pages vues en moyenne par un utilisateur. Ce chiffre n’est pas utilisable sans pondération, car le nombre de pages vues n’est pas directement lié à la performance.
Nombre de visites sur un site : cela fait une différence si c'est un visiteur qui vient plusieurs fois ou plusieurs utilisateurs qui viennent une fois… mais on ne peut pas le savoir.
Nombre de visiteurs uniques : vous ne savez pas pourquoi ils sont venus ou partis.
Temps passé sur le site ou les pages visitées : comment savoir si le temps passé sur le site est positif ou négatif ? Un long temps d’utilisation peut être dû à un utilisateur qui a laissé le site ouvert sur son ordinateur pendant qu’il faisait autre chose ou encore à quelqu’un qui a longtemps cherché une information sur vous sans la trouver.
Nombre d'inscriptions sur votre site (ou combien de personnes sont sur votre liste de diffusion) : ce qui nous intéresse, c’est le nombre d’utilisateurs actifs… mais comment savoir combien ils sont ?
Nombre de téléchargements : là encore, vous voulez savoir combien de personnes sont actives et ont ouvert l'application plus d'une fois.
Pour avoir des mesures fiables et actionnables, qui permettent une amélioration de votre design, vous devez définir un objectif clair et identifier les bonnes métriques pour mesurer votre performance. Il n’existe pas de liste exhaustive d’indicateurs efficaces de la mesure de la performance d’un produit digital. C’est à vous de définir quelles sont les métriques les plus pertinentes pour votre produit.
Évitez le biais de confirmation
Pour qu'une étude soit efficace, il faut réussir à être le plus objectif possible et ne pas se laisser influencer par les nombreux biais qui pourraient fausser les résultats.
Le piège le plus classique est le biais de confirmation. C’est le fait d’analyser les chiffres en ayant une forte envie d’arriver à un résultat prédéterminé. Par exemple, si vous voulez absolument que le problème de conversion de votre site web vienne du design de la page de paiement, alors vous allez interpréter les données recueillies selon ce spectre et vous ne serez pas forcément capable de voir le problème dans son ensemble. Le biais de confirmation apparaît lorsque l’on recherche des données permettant de confirmer ou de soutenir une hypothèse ou un résultat espéré, tout en négligeant les données que l’on a véritablement en face de soi. Le risque de ce type de recherche est que l’on finisse par ne voir que ce que l’on veut.
Le travail en équipe est une bonne façon de minimiser les biais, car à plusieurs, vous pourrez avoir plusieurs points de vue et des lectures différentes des résultats, ce qui vous donnera une synthèse plus riche.
Ajustez les données dans le temps afin d’être toujours en adéquation avec votre objectif
Parfois, lorsque vous commencez un nouveau projet, vous pouvez ne pas connaître vos utilisateurs ou leurs comportements autant que vous le voudriez. Vos métriques doivent changer au fur et à mesure du temps, s’adapter.
Vous pouvez ajuster vos métriques au fur et à mesure que vous obtenez une idée plus précise des comportements utilisateurs en fonction de vos objectifs commerciaux.
Commencez par créer une hypothèse avec la connaissance que vous avez, mais tout en gardant en tête que vous n’avez pas une compréhension parfaite des métriques dont vous avez besoin. Au fur et à mesure, vous obtiendrez plus de données et vous pourrez alors les comparer à votre hypothèse. Ensuite, continuez à vous demander si vous utilisez les meilleures métriques permettant de comprendre au mieux l’expérience de l’utilisateur.
Dans le livre "Lean Analytics", les auteurs présentent une étude de cas pour HighScore House, une application aidant les enfants à faire leurs tâches ménagères. En commençant, l’entreprise a défini un utilisateur actif quand les deux parents et l’enfant utilisent tous l’application 4 fois par semaine. Quand ils ont vu que cela n’arrivait pas, l’équipe a fait des modifications en envoyant des notifications de rappel et des e-mails aux parents pour leur rendre compte de l’utilisation de l’application par leur enfant.
Aucun de ces changements n’a permis à l’équipe d’observer une amélioration visible des données concernant l’objectif. Ce n’est que quand le CEO de l’entreprise a décroché le téléphone et a parlé aux utilisateurs pas “suffisamment actifs” qu’ils ont commencé à mieux comprendre le comportement des utilisateurs. Les utilisateurs étaient étonnamment satisfaits de l’application. Il s’avérait juste que l’application ne nécessitait une utilisation qu’une ou deux fois par semaine pour apprécier le produit dans son intégralité. Les métriques ont donc été ajustées pour mieux correspondre aux critères de satisfaction des utilisateurs.
Résumons !
Les vanity metrics sont des mesures qui ne mesurent pas vraiment la performance du design d'un produit, car elles ne sont pas actionnables.
Travailler en équipe permet de minimiser les biais d'une étude.
Vous devrez peut-être ajuster les mesures au fil du temps pour mieux comprendre vos clients.
