Bonsoir

tout le monde j'aimerais vos avis, j'ai un projet pour le travail qui se compose en 2 fichiers le premier étant une extraction de données sur un outil le format est en csv (il concerne des feuilles de calcul qui doivent être rattaché au dossier) l'autre fichier est un fichier de recensement de feuille de calcul.

L'objectif étant de croiser les données du fichier A et du fichier B et trouver les écarts d'utilisation de feuille de calcul exemple outil 1 feuille de calcul declaré dans le fichier A = XXX et attendu via la vérification du fichier B = YYYY donc erreur.

La volumetrie de données est importante entre 70k et 136k lignes à analyser , je pensais utiliser du SQL car je connais bien les requetes mais il y a peut être quelque chose de plus optimale

En gros je suis partie sur une vérification à la date de validité de la feuille de calcul : dossier déposé le 01/01/16 alors feuille de calcul attendu sur la même périodicité

Outils à disposition : 

oracle 11g home

dbeaver

merci d'avance pour votre aide/proposition 

Bonjour,

Si ton programme doit "juste" parcourir les CSV pour identifier des occurrences, pourquoi parles-tu de base de données ?

Un "simple" programme récupérant les deux fichiers et les parcourant à la recherche des cas voulus ne serait-il pas suffisant ?

Bonjour,

Tu peux m'en dire plus à ce sujet "parcourir les csv" tu le vois sous la forme d'un excel ou quelle genre de programme ?

Je comptais faire des requetes sql pour faire ce travail. mais je suis preneur d'idée 

-
Edité par MaxBalan1 18 octobre 2020 à 12:05:55

J'imagine un programme, en VBA ou autre langage, qui lit les deux fichiers et les compare.

Je ne connais pas la structure des deux fichiers en questions donc c'est un peu difficile de t'en dire plus ...

Déplacement vers un forum plus approprié

Le sujet est déplacé de la section Base de données vers la section Discussions développement

Bonjour à tous,

Merci Benzouye pour ton aide et tes propositions.

Je suis toujours preneur d'idée, que pensez vous de la proposition de benzouye : dans le temps combien de temps cela pourrait me prendre vu la volumétrie importante de données ?

merci d'avance 

Expliques nous un peu plus ce que tu cherches à faire, avec des exemples de données et de ce que tu appelles "écart".

Les fichiers Excel en jeu, où se trouvent-ils, qui les crée, qui génère les CSV, etc.

Bonjour le projet est le suivant :

Un fichier (.xlsx) qui recense les feuilles de calculs utilisés sur des dossiers de paiement établis par les différents services instructeurs. chaque dossier doit avoir une feuille de calcul rattaché mais il faut que cette feuille soit valide par son nom, sa durée de validité au moment de l'instruction du dossier.

Par exemple un dossier de 2015 doit avoir une feuille de calcul rattaché qui était utilisable dans la période de 2015.

Le second fichier est une extraction de l'outil (.csv) dans cette extraction il y a donc des dossiers à vérifier, certains sont déjà KO avec le filtrage (format non conforme).

L'idée général c'est d'utiliser le fichier de recensement pour comparer le fichier de l'extraction et vérifier la feuille de calcul rattaché,

Pour donner un exemple

Dossier1235 via la fichier de recensement ce dossier doit utilisé la feuille de calcul XYXY

Mais lors de la comparaison avec le fichier extraction le dossier utilise la feuille ZOZO

Il y a donc une incohérence

C'est donc une comparaison entre ce qui est attendu et ce que l'extraction possède comme information (la comparaison se fait via la date de validité de la feuille de calcul)

dossier  déposé 2015 feuille de calcul XYXY début 01/01/2015 fin 01/01/2016

par contre si il utilise une feuille du 02/02/2016 il sera en erreur

Pour les fichiers c'est un travail local, j'ai fais les fichiers à disposition sur mon poste pour le traitement

merci d'avance

-
Edité par MaxBalan1 19 octobre 2020 à 11:06:11

Je pense que le plus simple serait de créer une macro dans le fichier qui liste les feuilles de calcul. Cette macro ouvre le fichier CSV et le parcoure.

Pour chaque ligne tu vérifies si le fichier cible existe et si la feuille est cohérente.

Cela peut se faire facilement en VBA à mon avis, pas besoin d'une base de données déportées, sauf si tu souhaites t'affranchir de ton fichier xlsx global au profit d'une petite application tierces avec une base de données propre.

La problématique, c'est que je ne maitrise pas le VBA.

Est ce que tu penses que cela est possible avec un niveau proche de 0 même si cela est difficile c'est pas vraiment un soucis du moment que j'arrive au résultat attendu surtout avec une macro qui pourrait "automatiser" la vérif

Dans tous les cas, tu vas avoir besoin de coder ... Tout faire en SQL me paraît illusoire ou alors en acceptant des manipulations manuelles à chaque fois (notamment l'import des données).

Si tu as des connaissances en programmation (et un peu orientée objet) VBA ne sera pas bien compliqué à prendre en main ...