Requests et cookies - Mon cookies tiens 15 minutes

15 octobre 2022 à 18:38:47

Bonjour,

Je suis débutant en python et j'ai fait un petit script pour m'entraîner.
Cela fonctionne parfaitement pendant 15 minutes.

Je scrap un site, que je charge 3 pages ou 300 au bout de 15 min, j'ai une erreur et dois réinitialiser le cookies.
Je n'ai pas besoin d'être identifié, mais pour que les pages ce charge correctement, il me faut un cookies et un user-agent.

Cela fait 3 jours que je cherche sans succès. Si quelqu'un à une idée, ce serait génial.

import requests

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:105.0) Gecko/20100101 Firefox/105.0'}
url = "https://site.com/"

jar = requests.cookies.RequestsCookieJar()

jar.set('cle_1', 'valeur', domain='site.com')
jar.set('cle_2', 'valeur', domain='site.com')

r = requests.get(url, headers=headers, cookies=jar)
print(r.text)

fred1599

16 octobre 2022 à 10:02:21

Bonjour,

J'ai pas compris, c'est quoi la problématique ?

Vous cherchez à faire quoi ?

Celui qui trouve sans chercher est celui qui a longtemps cherché sans trouver.(Bachelard)
La connaissance s'acquiert par l'expérience, tout le reste n'est que de l'information.(Einstein)

Yvesexp

16 octobre 2022 à 10:30:49

Bonjour,

Pouvoir rester connecter au site, plus de 15 minutes sans devoir remettre les clés, valeurs du cookies manuellement.

Ces clés, valeurs, je les prends sous Firefox.

Une fois que le cookies n'est plus valide j'ai les message suivant dans la source :

Enable JavaScript and cookies to continue
Checking if the site connection is secure
Performance & security by Cloudflare

-
Edité par Yvesexp 16 octobre 2022 à 11:47:04

fred1599

16 octobre 2022 à 16:37:37

Voir du côté de l'objet Session du module requests.

Celui qui trouve sans chercher est celui qui a longtemps cherché sans trouver.(Bachelard)
La connaissance s'acquiert par l'expérience, tout le reste n'est que de l'information.(Einstein)

umfred

17 octobre 2022 à 13:06:20

bah si le cookie a une durée de vie de 15 minutes .... ou que la connexion se ferme au bout de 15 minutes ... c'est sur quel site ?

Yvesexp

17 octobre 2022 à 14:03:29

Bonjour,

Merci, fred1599 pour votre réponse.

J'avais déjà testé l'objet requests.Session() cela n'a pas fonctionné. Sauf erreur, ça ne met pas le cookie à jour.

Merci umfred, mais je n'ai pas l'intention d'indiquer l'adresse du site.