bonjour

Comme le dit le titre je suis a la recherche d’exercice de web scriping pour m’améliorer et bien comprendre le principe des choses auriez-vous une idée ou je peux trouver ça ?

merci

-
Edité par FRED92G 28 juillet 2022 à 14:47:04

C'est quoi votre définition du "WEB SCRIPPING" ??? scripting ?

la meme chose que je fessai la derniere fois dans ma derniere demande d aide j ai peu etre pas prie le bon therme

le bon therme ? tu prends un bain ? 

du web scraping 

l'exercice tu peux te le faire toi même: je veux récupérer tel élément de cette page, comme je procède.

C'est très variable en fonction des technologies/librairies utilisées.

Le plus simple c'est de suivre un tutoriel sur la technologie/librairie que vous essayez d'utiliser.

Mais, comme je vous l'ai déjà dis, passez par les Web API, c'est nettement plus simple et portable.

se qui m interesse le plus c est le remplissage de formulaire et faire des clique sur des boutton et champ

ce n'est plus vraiment du web scraping (le web scraping est de la récupération, extraction d'information pour une exploitation ailleurs) alors, mais plutôt de la navigation. 

de ce côté, je crois que Selenium a une certaine cote (dispo pour plusieurs langages)

umfred a écrit:

ce n'est plus vraiment du web scraping (le web scraping est de la récupération, extraction d'information pour une exploitation ailleurs) alors, mais plutôt de la navigation. 

de ce côté, je crois que Selenium a une certaine cote (dispo pour plusieurs langages)

j ai essayer sur facebook j ai reusi a  m identifier part compte je trouve pas le moyen de me deconnecter pourrai tu regarder et m expliquer le pour quoi ?

j ai essayer comme sa et sa me fait autre chose

        WebView21.ExecuteScriptAsync("document.getElementsByClassName('d2edcug0 hpfvmrgz qv66sw1b c1et5uql lr9zc1uh a8c37x1j fe6kdd0r mau55g9w c8b282yb keod5gw0 nxhoafnm aigsh9s9 d3f4x2em iv3no6db jq4qci2q a3bd9o3v ekzkrbhg oo9gr5id hzawbc8m')[0].click()")
    

-
Edité par FRED92G 28 juillet 2022 à 14:50:12

Bonjour, Merci de retirer toutes les lettres en capitales e votre titre. 

Majuscules abusives

L'écriture en majuscules est considérée comme une parole criée et diminue autant la lisibilité du texte que sa compréhension. Les majuscules abusives sont donc interdites aussi bien dans les titres que dans les messages.

Liens conseillés

• Charte de bonne conduite
• Règles générales du forum

chez moi c'est le span n°4 qui correspond au bouton se déconnecter, mais il faut qu'il soit afficher (donc avoir cliquer sur ta photo profil) sinon ça correspond à un autre lien (marketplace chez moi)

utilise la console js de ton navigateur, en y tapant ta commande, tu verra ce que contient le document.getelemetsbyclassname (en cliquant sur le petit chevron/flèche pour déplier le résultat)

umfred a écrit:

chez moi c'est le span n°4 qui correspond au bouton se déconnecter, mais il faut qu'il soit afficher (donc avoir cliquer sur ta photo profil) sinon ça correspond à un autre lien (marketplace chez moi)

utilise la console js de ton navigateur, en y tapant ta commande, tu verra ce que contient le document.getelemetsbyclassname (en cliquant sur le petit chevron/flèche pour déplier le résultat)

en effait j avais donc le bon code et le bonne index  j avais pas capter par compte l histoire du click sur le profile avent
 pour cliquer sur le profile pour que le menu s  ouvre j ai  fait comme sa 

WebView21.ExecuteScriptAsync("document.getElementsByClassName('pzggbiyp')[1].click()")

 par compte pour quoi directement il trouve pas le bouton et nous envoie autre part ?

j ai voulu reunir les 2 class en une ligne pour qu il ce face bien a la  suite une de l autre mes visiblement je me suis prie comme une brele deja en ligne separer sa merdouille le temp que le menu s ouvre la 2 eme ligne et deja faite dans le vide

WebView21.ExecuteScriptAsync("document.getElementsByClassName('pzggbiyp')[1].getElementsByClassName('d2edcug0 hpfvmrgz qv66sw1b c1et5uql lr9zc1uh a8c37x1j fe6kdd0r mau55g9w c8b282yb keod5gw0 nxhoafnm aigsh9s9 d3f4x2em iv3no6db jq4qci2q a3bd9o3v ekzkrbhg oo9gr5id hzawbc8m')[4].click()")

en 2 ligne  separer sa donne sa peu etre metre une pause entre les 2 pour que sa se face bien

WebView21.ExecuteScriptAsync("document.getElementsByClassName('pzggbiyp')[1].click()")
 
WebView21.ExecuteScriptAsync("document.getElementsByClassName('d2edcug0 hpfvmrgz qv66sw1b c1et5uql lr9zc1uh a8c37x1j fe6kdd0r mau55g9w c8b282yb keod5gw0 nxhoafnm aigsh9s9 d3f4x2em iv3no6db jq4qci2q a3bd9o3v ekzkrbhg oo9gr5id hzawbc8m')[4].click()")

je comfire avec une pause de 1sec entre les ligne sa fonctionne

-
Edité par FRED92G 28 juillet 2022 à 17:51:41

bah parce qu'il n'est pas visible et pas présent dans le code généré de la page

umfred a écrit:

bah parce qu'il n'est pas visible et pas présent dans le code généré de la page

pourrai tu repasser au message du desus j ai completer des truck j aurai bessoin que tu m explique

Scapper Facebook, là, vous êtes hors CGU !!!

bacelar a écrit:

Scapper Facebook, là, vous êtes hors CGU !!!

c est juste un exercice pour que je compreine des choses que je me couche moin bete le soir

Tu vas donc te frotter à l'une des pages les plus attaquées et les plus défendues de tout le Web mondial, les mains dans les poches ???

Il faut commencer par vouloir ramper avant de vouloir voler.

maintenent j aimerai faire recherche un truc sur mon mur je rentre les mots cle dans la parti recherche et le scripte cherche sur mon mur et quand il trouve il me donne le lien qui se trouve dans le poste auriez vous une idee de comment faire ?

le bute rechercher le span recupere mon cadeau et recuperer le lien qui se trouve plus haut dans le code et le top serai de verifier si il et du jour

la div dir auto recupere  les mots rechercher et le lien appriorie  j essai de trouver comment la recuperer

-
Edité par FRED92G 29 juillet 2022 à 0:07:23

regarde ta capture... le texte "Récupérer mon cadeau ici !" n'est pas dans un span mais dans la div, et le lien est dans le 1er span de la div dans une balise <a> <a />. Fais tes essais dans la console de ton navigateur, regarde les cours JS sur w3schools par exemple

pourrai tu vraiment me donner le chemain j ai pour chercher sur le net je trouve rien pour avencer et comprendre comment faire

j ai tres bien comprie que la div dir=auto gerer les 2 truc qui m interesse de recuperer

j ai voulu utiliser se code la pour recuperer mes comme y a pas de class j ai pas pu recuperer 

faudrai peu etre remplacer le class name par autre chose mes quoi je c est pas

D APRES SE QUE J AI COMPRIE DIV SERAI LA DIVITION DIR UN ATTRIBUT AUTO L OBJET DE L ATRIBUT   DONC FAUDRAIS QUE JE DEMANDE A CHERCHER L ATTRIBUT DE LOBJET AUTO

 Private Async Function Button2_ClickAsyncq() As Task(Of String)
        Dim script = "document.getElementsByClassName('auto')[0].textContent"
        Dim WH As String = Await WebView21.CoreWebView2.ExecuteScriptAsync(script)
        Return (WH.ToString)
    End Function

-
Edité par FRED92G 29 juillet 2022 à 14:54:35

un point d'entrée sur w3schools pour récupérer des éléments sur le DOM en JS https://www.w3schools.com/js/js_htmldom_elements.asp

-
Edité par umfred 29 juillet 2022 à 15:18:26

umfred a écrit:

un point d'entrée sur w3schhols pour récupérer des éléments sur le DOM en JS https://www.w3schools.com/js/js_htmldom_elements.asp

la tu ma perdu j ai rien compris sans code dom pour exemple et en plus pas mon language deriere faudrais que tu m explique avec du congreer qui me conserne

peu etre chercher avc byTagName

-
Edité par FRED92G 29 juillet 2022 à 15:12:23

il y a des exercices sur les pages de w3schools; l'imbrication dans ton code c# est totalement secondaire à ce niveau, tant que tu ne sais pas ce que tu fais avec le code javascript que tu utilises.

Je le répète: rentre tes commandes dans la console de ton navigateur (clic droit sur la page web puis inspecter)

le dom c'est le document object model, c'est ce qui te permet d'interagir avec ta page web (le document), donc ici toutes les requêtes commençant par document  (pour faire simple sinon plus détaillé https://fr.wikipedia.org/wiki/Document_Object_Model)

umfred a écrit:

il y a des exercices sur les pages de w3schools; l'imbrication dans ton code c# est totalement secondaire à ce niveau, tant que tu ne sais pas ce que tu fais avec le code javascript que tu utilises.

Je le répète: rentre tes commandes dans la console de ton navigateur (clic droit sur la page web puis inspecter)

le dom c'est le document object model, c'est ce qui te permet d'interagir avec ta page web (le document), donc ici toutes les requêtes commençant par document  (pour faire simple sinon plus détaillé https://fr.wikipedia.org/wiki/Document_Object_Model)

le probleme je comprend rien et j avence pas avec du code me consernent  et des explication qui von avec je comprendrais mieux

MOI JE ME SITU DANS LE D0M A L ELEMENT  L ATRIBUT LE LINK TEXT  D APRES LA PHOTO

-
Edité par FRED92G 29 juillet 2022 à 15:32:09

Je répète: lis les cours du lien w3schools que j'ai donné et fais les exercices proposés qui t'imposent certaines façons de faire.
Si tu ne comprends pas le principe, que ce soit pour des choses te concernant ou pas, tu n'avancera pas. Connais les bases, ensuite va vers des choses en particulier

je remets le lien du début du cours https://www.w3schools.com/js/js_htmldom.asp (tu peux changer la langue en français en cliquant sur la petite Terre à côté de la loupe de recherche en haut de la page si besoin)

umfred a écrit:

Je répète: lis les cours du lien w3schools que j'ai donné et fais les exercices proposés qui t'imposent certaines façons de faire.
Si tu ne comprends pas le principe, que ce soit pour des choses te concernant ou pas, tu n'avancera pas. Connais les bases, ensuite va vers des choses en particulier

je remets le lien du début du cours https://www.w3schools.com/js/js_htmldom.asp (tu peux changer la langue en français en cliquant sur la petite Terre à côté de la loupe de recherche en haut de la page si besoin)

j ai retenue que c est 2 truc la pourrai surment me permetre de recuperer se que je veux apres comment l appliquer sa j en c est rien

j ai la reponce la div que je veu reprendre et pas utilisable elle revien plussieur foi dans le code dom  du coup on me donne de la merde j ai meme vue une class dans le code qi changer pas mes le pb elle revien dans tout le code a plain d endroit donc j ai pas non plus se que je veux

document.anchors   Returns all <a> elements that have a name attribute

document.links   Returns all <area> and <a> elements that have a href attribute

y a t il possibiliter de se reprendre sur la div dir ou pas ? elle au moin elle change pas d un poste a l autre les class entre elle et les span eu change a chaque poste donc j ai pas le choix que de me prendre sur sete div dir pour recuperer mes 2 span

la div en question et pas utilisable elle et redonante dans le code jai meme trouver une class qui aurai pu etre utilisable mes meme probleme elle et redonante du coup on me donne  le premiere endroit ou elle et trouver 

il me reste plus que la rechercher dans le dom et une foi se que je cherche trouver recuperer la  span  c est une idee peu etre pas realisable

-
Edité par FRED92G 30 juillet 2022 à 23:41:48

finalement j ai reusi a faire se que je vouler recuper l heure  du poste et en plus le commantaire et le lien 

j  ai fait comme sa j ai prie sur une class plus haut qui change jamais 

Private Async Sub Button9_Click(sender As Object, e As EventArgs) Handles Button9.Click
        Dim result1 As String = Await Button2_ClickAsyncq()
        ListBox1.Items.Add(result1.ToString)
        Dim result1S As String = Await Button2_ClickAsyncqs()
        ListBox1.Items.Add(result1S.ToString)

    End Sub

    Private Async Function Button2_ClickAsyncq() As Task(Of String)
        Dim script = "document.getElementsByClassName('qzhwtbm6 knvmm38d')['10'].textContent"
        ' Dim script = "document.getElementsByClassName('qzhwtbm6 knvmm38d')" & "[" & TextBox1.Text & "]" & ".textContent"
        Dim WH As String = Await WebView21.CoreWebView2.ExecuteScriptAsync(script)
        Return (WH.ToString)
    End Function
    Private Async Function Button2_ClickAsyncqs() As Task(Of String)
        Dim script = "document.getElementsByClassName('qzhwtbm6 knvmm38d')['11'].textContent"
        '  Dim script = "document.getElementsByClassName('qzhwtbm6 knvmm38d')" & "[" & TextBox1.Text & "]" & ".textContent"
        Dim WH As String = Await WebView21.CoreWebView2.ExecuteScriptAsync(script)
        Return (WH.ToString)
    End Function