Bonjour à tous,

Je suis actuellement en apprentissage de développement et je travaille sur un projet pour mon BTS. Il s'agit d'une application web qui récupère des données à partir de plusieurs API et qui utilise une base de données MySQL pour simuler une interface web de supervision et de monitoring.

J'ai utilisé des API factices, comme RandomUser, pour obtenir les données nécessaires. J'ai présenté mon projet à mon professeur et lui ai montré les statistiques que je produisais, comme les moyennes par mois et par année. J'ai expliqué que je voulais supprimer les données après avoir calculé les moyennes, afin d'optimiser la base de données. Par exemple, si je calcule la moyenne de février, je supprime toutes les données de février et je ne garde que la moyenne finale.

Mon professeur m'a repris en disant que cela était une mauvaise idée, car les données sont précieuses pour les entreprises. J'ai compris son point de vue, mais j'ai réalisé que pour obtenir une surveillance précise et détecter les alertes, mon API tourne toutes les 5 secondes et insère une variable, un ID et une date. Cela signifie qu'environ 6 000 000 de lignes sont créées chaque année pour une seule API, alors imaginez si j'en ai 100 qui tournent !

Je me demande donc si une base de données SQL est capable de traiter ce type de données. Étant débutant, je me dis que nous sommes peut-être dans le domaine de la Big Data, mais je n'en suis pas sûr. Je me demande également si une base de données énorme avec de super serveurs est capable de gérer ce travail.

En bref, je suis un peu perdu et j'aimerais en savoir plus sur les enjeux liés aux bases de données. Si quelqu'un peut m'aider à comprendre un peu mieux tout cela ou me donner des pistes, je vous en serais très reconnaissant !

Merci d'avance pour votre aide.

Est-ce que tu es obligé d'enregistrer toutes les données? Pourquoi ne pas enregistrer que ce qui est utile ?

Si il est utile d'enregistrer les données toutes les 5s OK, n'enregistrer des alertes que si nécessaire.

Tout dépend de l'application, de l'objectif et de la nécessité.

Salut,

Effectivement c'est toujours intéressant de garder les données quelque part, ce n'est pas parce que tu as la moyenne que les valeurs précises deviennent obsolètes, peut etre que dans 3 ans tu auras besoin de voir en détails ce qu'il s'est passé genre pour un jour précis, ce genre de chose, donc je comprends le point de vu du prof.

Je comprend aussi le tien, 6M de lignes par an, on en est pas au point du Big Data, ca peut être gérer par une SGBD classique sans trop de soucis, à condition de gérer ca convenablement. mais si tu cumules sur 10 ans, ca va commencer à devenir très lourd, passé les 10M de lignes, ca commence à faire bcp pour une SGBD classique.

Une idée toute simple serait d'archiver tes données historiques. En gros, tu as ta table de "data" que tu remplis au fil de l'eau, et tout les ans, tu dupliques ta table dans une table "historique" genre "data_2021", "data_2022", et tu purges ta table "data" pour qu'elle ne contienne que les données de l'année 2023.

De cette manière, tu auras toujours tes données en stock quelque part et tu ne travailleras pas sur une table trop volumineuse non plus. Le seul soucis, ca serait l'espace disque que ca prendra.

Ensuite, est-ce qu'il faut faire ca tous les ans, tous les mois, tous les 6 mois, ca va dépendre de toi, de la volumétrie, de à quel point tu as envie d'avoir accès à tes données récentes. Tu peux aussi faire un job hebdo qui va purger tout ce qui a plus d'un an d'ancienneté et alimenter une table historique avec. De cette manière dans ta table "data" tu auras toujours 1 an de data.

Pour les détails, c'est à toi de voir.