Bonjour tout le monde,

J'aimerais savoir comment importer une base de données dans une nouvelle automatiquement (non manuellement) pour un programme qui récupère des données régulièrement. (afin de ne pas surcharger la base de données)

Respectueusement,

En général les bases de données sont fournie avec des commandes pour faire des sauvegarder, et les restaurer. Il suffit d'appeler ces commandes depuis un script type bash.

Toutefois, contrairement à ce que tu penses, cela surcharge beaucoup la base de données !

Peut-être vaut-il mieux te tourner vers les systèmes de réplication, qui permet de maintenir le contenu de deux bases de données identiques (avec un maître et un esclave) quasiment en temps réel. Ainsi, il est possible de faire des requêtes de recherches "lourdes" sur la base de données esclave, sans impacter la base de données maître.

Si tu veux de plus amples précisions sur la meilleure méthode à utiliser, peut-tu nous expliquer le contexte et la finalité de ton besoin ?

-
Edité par Sebajuste 14 mai 2018 à 14:50:46

Bonjour Sebajuste,

Merci pour ta réponse

Nous recueillons des données d'un arduino que nous envoyons dans une base de données, lorsque la requête sql de la limite est atteinte, nous voulions trans verser les données de la base de données dans une autre base de données afin que la base de données qui recueillaient les données de l'arduino soit vide (ps : données utilisées pour une interface graphique, nous sommes bloqués à trans verser les données d'une base de données dans une autre).

Respectueusement,

C'est selon moi une mauvaise utilisation.

Je travail également dans l'IoT, et je connais donc bien les problématiques.

Utilisant PostgreSQL, avec une seule table "historique" contenant toutes les valeurs reçues des appareils, on avait des temps de calcul (pour l'analyse sur des plages mensuel ) de plusieurs dizaine de secondes à partir de ~800 Millions de lignes. Depuis qu'on utilise un partitionnement de tables (une table par appareil) nous gérons actuelement plus de 2 Milliards de lignes avec des temps de calculs inférieur à la seconde.

Toutefois, si c'était à refaire, je n'utiliserais pas de base de données relationnelles pour ce genre de données. En effet, il n'y a que deux opérations pour des valeurs récupérées d'appareils : 

* l'écriture en INSERT

* la lecteur

Il n'y a jamais d'UPDATE, et quasiment pas de DELETE. Ce sont donc des données éligibles aux bases de données NoSQL, capable de gérer des gros volumes.

La caractéristiques de ces données est d'être horodaté. Il est donc intéressant d'utiliser une base de données de type "time serie". En voici quelques unes : https://en.wikipedia.org/wiki/Time_series_database#List_of_time_series_databases

Il y a également OpenTSB, qui n'est pas cité, basé sur HADOOP. Mais c'est vraiment la grosse artillerie pour des très gros besoin. A titre personnel, je m'orienterais plus sur InfluxDB.

Pour ce qui est de l'interface graphique, il y a Grafana qui est un bon outil que j'ai pu testé.