Partage
  • Partager sur Facebook
  • Partager sur Twitter

Récupérer les contenus des pages via URL

Récupération d'info

Sujet résolu
    23 novembre 2021 à 14:08:48

    Bonjour

    Ne sachant pas dans quel forum poser ma question, veuillez m’excuser pour éventuel  erreur.

    Voila, j'ai comme projet de chercher les indicateurs boursier chez quelques brocker  dont voici la liste

    https://urlz.fr/gQev

    https://urlz.fr/gQeI

    https://urlz.fr/gQeJ

    https://urlz.fr/gQeL

    Le but est de pouvoir balayer ces sites et de récupérer les infos de chaque page.

    Je vous remercie pour tout aide, info, Url 

    • Partager sur Facebook
    • Partager sur Twitter
      23 novembre 2021 à 14:47:27

      Bonjour,

      je vais fermer l'autre sujet pour doublon, et suivant le tournant de la conversation, je déplacerai ce sujet dans le forum du bon langage.

      Par ailleurs, peux-tu mettre les vraies url dans ton post ? Les raccourcisseurs d'url n'inspirent pas confiance, comment savoir si tu es de bonne foi et que tu ne mets pas de liens vers des pages dangereuses ?

      Merci.

      (mais sinon, c'est quand même une demande pour laquelle on peut trouver plein d'infos, rien que sur ce forum)

      • Partager sur Facebook
      • Partager sur Twitter

      Pas d'aide concernant le code par MP, le forum est là pour ça :)

        23 novembre 2021 à 19:15:24

        Bonjour,

        Pour récupéré des infos sur un autre site web il faut que l'autre site web dispose d'une API public et qu'elle soit accessible.

        Le plus simple pour trouvé l'API d'un site et soit de tapé le nom dut site suivit de API sur google,

        soit de regardé dans le footer de la page d'accueil si il y à une section développeur.

        Pour le premier lien que tu as donné le site et fr.citifirst.com je ne trouve pas d'API ni en tapant le nom du site suivit de API sur google ni dans le footer du site.

        Pas d'API pas de chocolat il faudra essayé de trouvé un site concurrent qui fournissent une API public. 

        Pour le deuxième lien qui bizzarement n'est pas un lien raccourcie car pas de redirection et l'URL ne change mais de toutes façon après que la page mais harcelé avec ça newsletter et qu'elle à finit par planté.

         

        Visiblement mais paramètres de navigateur sont trop strict pour que l'application puisse fonctionnée chez moi, donc j'ai abandonné l'idée de cherchez quoi que soit sur ce site.

        Le 3ièm lien pointe vers un site tiers de BNP Paribas que je trouve pas dans la liste autres sites depuis le site officiel de BNP Paribas

        Ce site tiers là n'a visiblement pas d'API non plus, par contre BNP Paribas à un catalogue d'API disponible ici peut être que le service que tu cherche et disponible dans les APIs de BNP Paribas, le catalogue et assez long il y à 5 page de services d'API, je ne suis pas sur de la gratuité de toutes les APIs.

        Et enfin le derniers site et un site de la firme Société General bourse.societegenerale.fr que je ne trouve pas non plus dans les autre site de 

        particuliers.societegenerale.fr qui le premier lien que j'ai quand je tape société générale sur google.

        Il existe un catalogue d'API de la société générale à developer.sgmarkets.com qui comme pour BNP Paribas contient un catalogue d'APIs dont je ne suis pas sure de la gratuité de toutes non plus.

        La liste des urls non modifiée étant:

        https://fr.citifirst.com/FR/Produits/turbos_infinis_best/Nasdaq_100_/DE000KE8G516/
        https://urlz.fr/gQeI (Bizzarement ce lien n'est pas un lien raccourci c'est réellement l'URL final du site)
        https://www.produitsdebourse.bnpparibas.fr/products/NLBNPFR16BT7/
        https://bourse.societegenerale.fr/product-search



        -
        Edité par SamuelGaborieau3 23 novembre 2021 à 19:24:34

        • Partager sur Facebook
        • Partager sur Twitter

        suggestion de présentation.

          7 décembre 2021 à 22:30:15

          Bonsoir

          Merci Samuel, j'ai fait qlqs tentatives pour trouver des API sans succès,  alors à l'aide de curl et quelques lignes de bash, php, js, je commence à arriver a quelque chose. Ceci

          dit, faut espérer qu'ils ne changent pas la structure de leurs site le temps que je fini ma prestation.

          Merci encore 

          • Partager sur Facebook
          • Partager sur Twitter
            8 décembre 2021 à 11:55:09

            Effectivement la solution que tu as l'air d'essayé de mettre en place n'est pas très stable, si je comprend bien tu fait des requêtes réseaux pour récupéré directement le contenue HTML des pages et ensuite tu les "parses" pour essayé d'extraire des données depuis le contenue HTML.

            Peut importe la façon d'ont tu extrait les données de la page tu te base forcément sur la structure de la page, si une page change de structure HTML que ce soit pour mettre à jour le thème de l'interface où autre chose, ton code ne fonctionnera plus.

            Et il peut arrivé aussi que certains site mette en place une stratégie CORS qui permet de partagé les ressources uniquement avec d'autres ressources prédéfinie (c'est le partage multi origine) quand tu envoi une requête tu as automatiquement une origine (cela peut être un nom de domaine une addresse IP où le nom d'un logiciel que tu utilise pour envoyé la requête comme POSTMAN où cURL) si le serveur ne reconnait pas l'origine (où ne l'accepte pas) il ne renvoi pas le contenue que tu attend à la place il renvoi une erreur qui ressemblera à cela:

            Access to fetch at '<ORIGINE_QUE_TU_CIBLE>' from origin '<TON_ORIGIN>' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource. If an opaque response serves your needs, set the request's mode to 'no-cors' to fetch the resource with CORS disabled.

            • Partager sur Facebook
            • Partager sur Twitter

            suggestion de présentation.

            Récupérer les contenus des pages via URL

            × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
            × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
            • Editeur
            • Markdown