Partage
  • Partager sur Facebook
  • Partager sur Twitter

Web Scrapping avec Python3.8

Limitation du site visée

Anonyme
    15 septembre 2020 à 0:56:42

    Bonjour,

    Alors voici mon problème :

    Je veux atteindre cette page : https://www.meilleursagents.com/prix-immobilier/la-meziere-35520/rues/

    mais lorsque j'utilise mon code j'obtiens l'html de la page suivante : https://www.meilleursagents.com/activity/trial?session=prices_bp.place_streets&url=https%3A%2F%2Fwww.meilleursagents.com%2Fprix-immobilier%2Fla-meziere-35520%2Frues%2F

    Voici mon code :

    import requests
    from bs4 import BeautifulSoup
    
    url = 'https://www.meilleursagents.com/prix-immobilier/la-meziere-35520/rues/'
    
    reponse = requests.get(url)
    
    if reponse.ok :
        soup = BeautifulSoup(reponse.text, 'lxml')
        print(soup)
    
        limitation = soup.select(".section__content  a")
        limitation_str1 = limitation[1].text
        limitation_str = limitation_str1.replace("\n","")
        limitation_str = limitation_str.replace("  ", "")
        if limitation_str == "Je crée mon compte ou Je me connecte" :
            print("Limitation trouvée !")
    
        for tag in tags:
            if tag.get('href', None) == "/_signin?show=signin":
                print(tag.get('href', None))
                link
                print("Lien pour la page de connexion !")

    Ma question est donc, il y a-t'il une solution qui empêche cette limitation ou faut-il que je passe par la page de connexion et que j'essaye de me connecter (et si oui pouvez-vous me montrer le chemin à suivre) ?
    Ensuite, je tiens à préciser que je suis novice en web scrapping.

    Merci d'avance :)

    • Partager sur Facebook
    • Partager sur Twitter
      15 septembre 2020 à 9:05:44

      Non pas de solution à part créer un compte et te connecter. Le message est clair.

      • Partager sur Facebook
      • Partager sur Twitter
        16 septembre 2020 à 14:06:13

        peut-être aussi en effectuant la suppression des cookies relatifs au site (si tu as fait beaucoup d'essais, le site a dû voir ça comme des consultations abusives)
        • Partager sur Facebook
        • Partager sur Twitter

        Web Scrapping avec Python3.8

        × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
        × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
        • Editeur
        • Markdown