Chez The Green Earth Post, les compartiments stockent de gros volumes de données : les articles, les logs d’accès et d’autres données textuelles (RH, finance, marketing…). Thor Thunberg vous informe qu’il voudrait bien pouvoir obtenir des visuels de toutes les données que vous avez mises sur le site :
Hello !
Je suis vraiment content de tout le travail que Zhao, Dora, Jasmine et toi avez fait jusqu’ici, bravo ! Par contre, je commence à me rendre compte de la quantité de données qu’on génère et je voudrais te demander de trouver un moyen de produire les visuels pour rendre ces infos accessibles.Ce serait formidable si toi et l'équipe pouviez trouver les meilleurs outils à mettre en place et me les communiquer d'ici la fin de la journée.
À plus!
Thor
Est-ce que AWS a ses propres outils qui permettent de faire du dataviz ?
Oui ! Voici vos options :
AWS Athena
C’est un service sans serveur de requête interactif qui facilite l'analyse des données dans S3 à l'aide de la syntaxe SQL (basé sur Presto). Aucune infrastructure n’est à gérer et vous ne payez que pour les requêtes que vous exécutez. Il prend en charge plusieurs formats de fichiers : CSV, JSON, ORC, Avro et Parquet.
AWS QuickSight
Dans l'édition Enterprise d'Amazon QuickSight, vous pouvez restreindre l'accès à un ensemble de données en configurant la sécurité au niveau des colonnes (CLS).
QuickSight s’intègre avec plusieurs sources de données AWS et externes.
AWS Redshift
A - Un cluster Redshift ne peut être que dans un seul AZ (pas de multi-AZ).
B - Pour sauvegarder les données de Redshift :
Créer des instantanés incrémentaux manuellement ou automatiquement.
Copier les instantanés dans une autre AZ (même région ou autre région).
Créer/restaurer un nouveau cluster Redshift à partir des copies d’instantanés.
C - Nœud maître du cluster, reçoit la requête SQL. Il découpe la requête en instructions à répartir entre les nœuds de calcul. Puis, il reçoit de ces nœuds leur résultat, et les agrège avant de retourner le résultat final au client.
D - Nœuds de calcul peuvent stocker des données et appliquer des traitements sur la donnée à partir des instructions du nœud principal, qui les crée à partir des requêtes SQL du client.
Redshift Spectrum est une fonctionnalité qui vous permet d’analyser des données dans S3 sans devoir les charger au préalable dans Redshift !
A - Exécute des requêtes SQL.
B - Les nœuds de calcul reçoivent leurs instructions et utilisent les nœuds de Redshift Spectrum pour lire et traiter les données dans S3.
C - Chaque nœud de Redshift Spectrum calcule son résultat et le transmet aux nœuds de calcul.
D - Les nœuds de calcul transmettent leur résultat au nœud principal qui les agrège et renvoie le résultat final au client.
En résumé
Athena et QuickSight sont souvent utilisés ensemble pour faire de l’analyse et de la visualisation de données.
Redshift est utilisé pour des requêtes complexes sur un volume de données considérable.
Wow, ça fait beaucoup, cette partie, n'est-ce pas ? Mais la bonne nouvelle est que vous avez construit un squelette du site web de The Green Earth Post et c'est une étape clé de ce projet. Dans la prochaine partie, nous verrons comment configurer le réseau de l’infrastructure du site web. Mais avant de faire ça, je vous invite à faire le quiz afin de tester vos connaissances. On s'y retrouve !
