Partage
  • Partager sur Facebook
  • Partager sur Twitter

scrapper un dossier depuis devTools source

    23 octobre 2021 à 15:49:30

    Bonjour 

    Je n'ai quasiment aucune expérience en scrapping et je me demandé si il été possible de "télécharger" le contenu d'un dossier accessible depuis l'onglet source de la console googleChromeDevTools. 

    Si oui BeautifulSoup ou Scrapy ou Puppeteer ou les 3 ?

    Merci

    -
    Edité par Tortue_Ninja 23 octobre 2021 à 15:50:14

    • Partager sur Facebook
    • Partager sur Twitter

    Seul on va plus vite, ensemble on va plus loin. 'KawaBunga'

      25 octobre 2021 à 18:12:37

      c'est quoi ton but final ? que contient ce dossier et que veut récupérer de celui-ci ?

      si c'est un fichier web, un double clic devrait l'ouvrir dans le navigateur web et après ça reste une page web comme une autre, juste que son adresse est en local

      • Partager sur Facebook
      • Partager sur Twitter
        27 octobre 2021 à 9:18:35

        c'est le dossier wp/content/wp-upload/20/02 d'un site internet pour récupérer le lot d'image qu'il contient.

        Si je l'ouvre en tapant l'url depuis le navigateur j'obtient un 403 forbidden. 

        Seulement les image placer a l'intérieur sont ouvrable depuis l'url mais les faire une par une ça risque d'être long et je cherche un moyen d'automatiser la tache. 

        • Partager sur Facebook
        • Partager sur Twitter

        Seul on va plus vite, ensemble on va plus loin. 'KawaBunga'

          27 octobre 2021 à 13:20:02

          ça serait plutôt via ftp ou wget ou urllib je pense

          un exemple sur SO pour le téléchargement https://stackoverflow.com/questions/52000950/python-wget-download-multiple-files-at-once 

          Il faut juste savoir si les noms des fichiers ont une logique ou pas. 

          Sinon essayer un outil comme httrack https://www.httrack.com/ 

          PS dans ton adresse, il faut rajouter le / final en principe

          • Partager sur Facebook
          • Partager sur Twitter

          scrapper un dossier depuis devTools source

          × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
          × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
          • Editeur
          • Markdown