Partage
  • Partager sur Facebook
  • Partager sur Twitter

extraire les liens d'une page html

pou r enregistrer touts les liens à partir d'un lien ...

sbracq
    10 mai 2010 à 17:11:45

    Ce code:

    <?php
$variable = "http://www.mailtoi.com"; 



$curl_handle=curl_init();
curl_setopt($curl_handle,CURLOPT_URL,$variable);
$fichier_texte = curl_exec($curl_handle);
curl_close($curl_handle);

echo $fichier_texte;



//$fichier_texte=fgets($fp,1024); 

 
//preg_match_all('/href="([^"].+?)"/i', $fichier_texte, $matches);
preg_match_all('/a href=http:\/\/?[^> ]+/i',$fichier_texte,$matches); //function php qui cherche les liens ds le fichier téléchargé :-)


      
      

  echo $matches[0][0]; 
    ?>


    M'affiche bien la page http://www.mailtoi.com mais je ne parse pas les liens avec la regex ou alors je ne sais pas les afficher :-)

    A l'aide ??? PLz
    • Partager sur Facebook
    • Partager sur Twitter
    orklah
      10 mai 2010 à 23:04:47

      Bonjour a toi aussi.
      Ton titres est plus explicite que tout ton message, ca donne pas vraiment envie de t'aider...
      explique ton probleme, ce que tu veux faire, ce qui ne marche pas, l'erreur affichée, les questions que tu a etc...
      • Partager sur Facebook
      • Partager sur Twitter
      sbracq
        16 mai 2010 à 9:25:16

        Hello world :-)

        Bot sébastien bracq au rapport :-)

        Le code qui suit tente de référencer tous les liens qu'il trouve (récursivement, peut être mais il fait de sortir du domaiene de ma home page pour référencer tous les liens qu'il trouve et trouvera... bref bfref bfre... oulala. Il plante chez omi parce qu'il ne résoud pas une url qd il référence le site du zero qui plante à ce moment là pour que tout se fasse dans la joie. Aussi je m'excuse ici et je signe l'oeuvre. Je ne veux pas être banni alors je poste là :-)

        <?php
/* Alors vpus me direz que fait ce bout de code. Pour le debu il ne fait qu'ouvrir l'url mailtoi.com  afin de l'explorer et d'afficher les liens un par ligne. Je les ai en variale. lolça aidera et il enregistre ça ds une base de donnée c'est pus sur...
*/
/* Que dois je faire. ben il y a la commande que j'ai compilé qui prend deux arguments le nom de fichier et l'adresse html à explorer...
	voilùù voilà...*/
	/* Je n'ai pas dit ce que j'allai faire :-) pas encore. Alors quoi dire ???*/


// connexion au système de session de php.  
 
session_start();  



/* Inclus le fichier mysql_config.php dans ce fichier de façon à ce que la connexion à la base donnée soit établie

La configuration est ainsi inscrite une seule fois dans le fichier mysql_config au lieu de tous les fichiers de la messagerie.

Code html hénéré avec Komposer sous UBUNTU...*/



include("mysql_config.php");







// Inculsion de titre.php qui contient le design du site en css et le nom du site.



include("titre.php");	


// ici déclaration de la prmière page qui motorise le site :-),devra être lue depuis un formaulaire à terme :-)

$init_page = "http://www.mailtoi.com";

// on enregistre l'adresse proposée ds la base de données si elle n'y figure pas déja. 

$resultat = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$init_page."'"), 0);

	

	if ($resultat == 0) mysql_query("INSERT INTO liens VALUES('','" . $init_page ."', '1') " ); 


# Original PHP code by Chirp Internet: www.chirp.com.au # Please acknowledge use of this code by including this header. 
function robots_allowed($url, $useragent=false)
	{
	# parse url to retrieve host and path 
	$parsed = parse_url($url);
	$agents = array(preg_quote('*'));
	if($useragent) $agents[] = preg_quote($useragent);
	$agents = implode('|', $agents); 
	# location of robots.txt file 
	$robotstxt = @file("http://{$parsed['host']}/robots.txt");
	if(!$robotstxt) return true;
	$rules = array(); 
	$ruleapplies = false; 
	foreach($robotstxt as $line) 
		{ 
		# skip blank lines 
		if(!$line = trim($line)) continue; 
		# following rules only apply if User-agent matches $useragent or '*' 
		if(preg_match('/User-agent: (.*)/i', $line, $match)) 
			{
				$ruleapplies = preg_match("/($agents)/i", $match[1]); 
			}
		if($ruleapplies && preg_match('/Disallow:(.*)/i', $line, $regs)) 
			{
			# an empty rule implies full access - no further tests required 
			if(!$regs[1]) return true;
			# add rules that apply to array for testing 
			$rules[] = preg_quote(trim($regs[1]), '/'); 
			} 
		}
	foreach($rules as $rule) 
		{
		# check if page is disallowed to us 
		if(preg_match("/^$rule/", $parsed['path'])) return false;
		}
	# page is not disallowed
	return true;
	} 





# Original PHP code by Chirp Internet: www.chirp.com.au # Please acknowledge use of this code by including this header.

 ini_set('user_agent', 'gogol (http://www.mailtoi.com)');
 
 
// Test de la présence d'enregistrement d'adresse à traiter, cas ou new vaut 1...
 
while ( ($resultat = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE new='1'"), 0)) != 0)
	{
	$resultat2=mysql_query("SELECT * FROM liens WHERE new = 1"); 

	while($donnees = mysql_fetch_array($resultat2)) 
		{ 
		$url = $donnees['liens'] ;
		echo $url;
		
		mysql_query("UPDATE liens SET new = '0' WHERE liens = '".$donnees['liens']."'" );

		 if(robots_allowed($url, "gogol"))
		 	{
			$input = @file_get_contents($url) or die('Could not access file: $url');
			$regexp = "<a\s[^>]*href=(\"??)([^\" >]*?)\\1[^>]*>(.*)<\/a>";
			if(preg_match_all("/$regexp/siU", $input, $matches, PREG_SET_ORDER))
				{
				foreach($matches as $match)
					{
					
					/*
					 Le code qui suit sert à formater les url relatives en url absolues de la forme http://www.exemple.com
					*/
									
					$mystring = $match[2];
		
					$findme   = 'http://';
					
					$pos = strpos($mystring, $findme);
								
					// Note our use of ===.  Simply == would not work as expected
					// because the position of 'a' was the 0th (first) character.
					if ($pos === false) {
					    //echo "The string '$findme' was not found in the string '$mystring'";
					    $match[2] = $url .'/'. $match[2];
					    echo $match[2] ;
					    echo'<br>';
					    $test = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$match[2]."'"), 0);

	

						 if ($test == 0) mysql_query("INSERT INTO liens VALUES('','" . $match[2] ."', '1') " ); 
					    
					} else {
					    /*echo "The string '$findme' was found in the string '$mystring'";
					    echo " and exists at position $pos";*/				
						
						echo $match[2] ; //= link address
						echo'<br>'; 
						$test = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$match[2]."'"), 0);

	

						if ($test == 0) mysql_query("INSERT INTO liens VALUES('','" . $match[2] ."', '1') " ); 
						// $match[3] // = link text
						}
					}
				}
			}
			else { echo 'Access denied by robots.txt' ; }
		
			}
		}
	

/*
$curl_handle=curl_init();
curl_setopt($curl_handle,CURLOPT_URL,$init_page); 
$fichier_texte = curl_exec($curl_handle);
curl_close($curl_handle);

echo $fichier_texte;

$content = $fichier_texte;
*/






 
?>
        • Partager sur Facebook
        • Partager sur Twitter
        sbracq
          12 octobre 2010 à 9:55:02

          Nouvele version du crawler qui semble fonctionner...

          <?php
/* Alors vpus me direz que fait ce bout de code. Pour le debu il ne fait qu'ouvri le fichier 1 afin de l'explorer et d'afficher les liens un par ligne. Je les ai en variale. lolça aidera
*/
/* Que dois je faire. ben il y a la commande que j'ai compilé qui prend deux arguments le nom de fichier et l'adresse html à explorer...
    voilùù voilà...*/
    /* Je n'ai pas dit ce que j'allai faire :-) pas encore. Alors quoi dire ???*/


// connexion au système de session de php.  
 
session_start();  

/* Inclus le fichier mysql_config.php dans ce fichier de façon à ce que la connexion à la base donnée soit établie
La configuration est ainsi inscrite une seule fois dans le fichier mysql_config au lieu de tous les fichiers de la messagerie.
Code html hénéré avec Komposer sous UBUNTU...*/

include("mysql_config.php");



// Inculsion de titre.php qui contient le design du site en css et le nom du site.

//include("titre.php");    


// ici déclaration de la prmière page qui motorise le site :-),devra être lue depuis un formaulaire à terme :-)

$init_page = "http://www.yahoo.com";

// on enregistre l'adresse proposée ds la base de données si elle n'y figure pas déja. 

$resultat = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$init_page."'"), 0);
    
    if ($resultat == 0) mysql_query("INSERT INTO liens VALUES('','" . $init_page ."', '1','') " ); 


# Original PHP code by Chirp Internet: www.chirp.com.au # Please acknowledge use of this code by including this header. 
function robots_allowed($url, $useragent=false)
    {
    # parse url to retrieve host and path 
    $parsed = parse_url($url);
    $agents = array(preg_quote('*'));
    if($useragent) $agents[] = preg_quote($useragent);
    $agents = implode('|', $agents); 
    # location of robots.txt file 
    $robotstxt = @file("http://{$parsed['host']}/robots.txt");
    if(!$robotstxt) return true;
    $rules = array(); 
    $ruleapplies = false; 
    foreach($robotstxt as $line) 
        { 
        # skip blank lines 
        if(!$line = trim($line)) continue; 
        # following rules only apply if User-agent matches $useragent or '*' 
        if(preg_match('/User-agent: (.*)/i', $line, $match)) 
            {
                $ruleapplies = preg_match("/($agents)/i", $match[1]); 
            }
        if($ruleapplies && preg_match('/Disallow:(.*)/i', $line, $regs)) 
            {
            # an empty rule implies full access - no further tests required 
            if(!$regs[1]) return true;
            # add rules that apply to array for testing 
            $rules[] = preg_quote(trim($regs[1]), '/'); 
            } 
        }
    foreach($rules as $rule) 
        {
        # check if page is disallowed to us 
        if(preg_match("/^$rule/", $parsed['path'])) return false;
        }
    # page is not disallowed
    return true;
    } 





# Original PHP code by Chirp Internet: www.chirp.com.au # Please acknowledge use of this code by including this header.

 ini_set('user_agent', 'gogol (http://www.mailtoi.com)');
 
 
// Test de la présence d'enregistrement d'adresse à traiter, cas ou new vaut 1...
 
while ( ($resultat = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE new='1'"), 0)) != 0) 
    {
    $resultat2=mysql_query("SELECT * FROM liens WHERE new = 1"); 

    while($donnees = mysql_fetch_array($resultat2)) 
        { 
        $url = $donnees['liens'] ;
        //)=echo $url; echo " ";
        
        mysql_query("UPDATE liens SET new = '0' WHERE liens = '".$donnees['liens']."'" );
        
        
         if ( robots_allowed($url, "gogol") AND ($url!="http://www.siteduzero.com") )
             {
             if ( ($input = @file_get_contents($url) )!= FALSE )// or die('Could not access file: '.$url.'')
            
                {                
            //enregistrement du contenue téléchargé dans $input ds la base de donné au champ lien    
                
            mysql_query("UPDATE liens SET content = '".$input."' WHERE liens = '".$donnees['liens']."'" );
            
                
            $regexp = "<a\s[^>]*href=(\"??)([^\" >]*?)\\1[^>]*>(.*)<\/a>";
            if(preg_match_all("/$regexp/siU", $input, $matches, PREG_SET_ORDER))
                {
                foreach($matches as $match)
                    {
                    
                    /*
                     Le code qui suit sert à formater les url relatives en url absolues de la forme http://www.exemple.com
                    */
                                    
                    $mystring = $match[2];
        
                    

                    /* une pattern pour extraire le nom de domaine d'une adresse:-)*/

                        $pattern = "^[a-zA-Z0-9\-\.]+\.(com|org|net|mil|edu|COM|ORG|NET|MIL|EDU)$^";


                    
                        
                    if(!preg_match($pattern, $mystring, $matches2 ))
                        {
                            echo "pas de racine ";
                            if(preg_match($pattern, $url, $matches3)) { 

                                echo "boucle ";
                            
                                $mystring2 = $matches3[0];echo $mystring2;
                                    $temp = 'http://'.$mystring2.'/'.$match[2];echo"temp:";echo $temp;
                                    $test = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$temp."'"), 0);
                                    
                                    $query = "INSERT INTO liens VALUES('','". $temp ."','1','hello world') ";
                                    echo $query;
                        
                                     if ($test == 0) {echo "write...";mysql_query($query);} 
                                                        
                                }
                        }    
                            
                    

                    
                    else {
                                    
                        
                        
                        $test = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$match[2]."'"), 0);
    
                        if ($test == 0) mysql_query("INSERT INTO liens VALUES('','" . $match[2] ."', '1','') " ); 
                        
                        }
                    }
                }

                } else echo "there is no valid url maybe ???"; echo $url ;
            }
            else { echo 'Access denied by robots.txt' ; }
        
            }
        }
    

/*
$curl_handle=curl_init();
curl_setopt($curl_handle,CURLOPT_URL,$init_page); 
$fichier_texte = curl_exec($curl_handle);
curl_close($curl_handle);

echo $fichier_texte;

$content = $fichier_texte;
*/






 
?>
          • Partager sur Facebook
          • Partager sur Twitter
          sbracq
            15 octobre 2010 à 10:19:44

            Ce code devrait fonctionner parfaitement ou du moins fonctionne à a quelques bugs près qu'il faudra découvrir....

            <?php
/* Alors vpus me direz que fait ce bout de code. Pour le debu il ne fait qu'ouvri le fichier 1 afin de l'explorer et d'afficher les liens un par ligne. Je les ai en variale. lolça aidera
*/
/* Que dois je faire. ben il y a la commande que j'ai compilé qui prend deux arguments le nom de fichier et l'adresse html à explorer...
    voilùù voilà...*/
    /* Je n'ai pas dit ce que j'allai faire :-) pas encore. Alors quoi dire ???*/


// connexion au système de session de php.  
 
session_start();  

/* Inclus le fichier mysql_config.php dans ce fichier de façon à ce que la connexion à la base donnée soit établie
La configuration est ainsi inscrite une seule fois dans le fichier mysql_config au lieu de tous les fichiers de la messagerie.
Code html hénéré avec Komposer sous UBUNTU...*/

include("mysql_config.php");



// Inculsion de titre.php qui contient le design du site en css et le nom du site.

//include("titre.php");    


// ici déclaration de la prmière page qui motorise le site :-),devra être lue depuis un formaulaire à terme :-)

$init_page = "http://www.wikilogos.org";

// on enregistre l'adresse proposée ds la base de données si elle n'y figure pas déja. 

$resultat = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$init_page."'"), 0);
    
    if ($resultat == 0) mysql_query("INSERT INTO liens VALUES('','" . $init_page ."', '1','') " ); 


# Original PHP code by Chirp Internet: www.chirp.com.au # Please acknowledge use of this code by including this header. 
function robots_allowed($url, $useragent=false)
    {
    # parse url to retrieve host and path 
    $parsed = parse_url($url);
    $agents = array(preg_quote('*'));
    if($useragent) $agents[] = preg_quote($useragent);
    $agents = implode('|', $agents); 
    # location of robots.txt file 
    $robotstxt = @file("http://{$parsed['host']}/robots.txt");
    if(!$robotstxt) return true;
    $rules = array(); 
    $ruleapplies = false; 
    foreach($robotstxt as $line) 
        { 
        # skip blank lines 
        if(!$line = trim($line)) continue; 
        # following rules only apply if User-agent matches $useragent or '*' 
        if(preg_match('/User-agent: (.*)/i', $line, $match)) 
            {
                $ruleapplies = preg_match("/($agents)/i", $match[1]); 
            }
        if($ruleapplies && preg_match('/Disallow:(.*)/i', $line, $regs)) 
            {
            # an empty rule implies full access - no further tests required 
            if(!$regs[1]) return true;
            # add rules that apply to array for testing 
            $rules[] = preg_quote(trim($regs[1]), '/'); 
            } 
        }
    foreach($rules as $rule) 
        {
        # check if page is disallowed to us 
        if(preg_match("/^$rule/", $parsed['path'])) return false;
        }
    # page is not disallowed
    return true;
    } 





# Original PHP code by Chirp Internet: www.chirp.com.au # Please acknowledge use of this code by including this header.

 ini_set('user_agent', 'gogol (http://www.mailtoi.com)');
 
 
// Test de la présence d'enregistrement d'adresse à traiter, cas ou new vaut 1...
 
while ( ($resultat = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE new='1'"), 0)) != 0) 
    {
    $resultat2=mysql_query("SELECT * FROM liens WHERE new = 1"); 

    while($donnees = mysql_fetch_array($resultat2)) 
        { 
        if ($donnees['liens'] != "") {
        $url = mysql_real_escape_string($donnees['liens']) ;
        
        echo "url: ";echo $url; echo " ";}
        
        mysql_query("UPDATE liens SET new = '0' WHERE liens = '".$url."'" );
        
        
         if ( robots_allowed($url, "gogol") AND ($url!="http://www.siteduzero.com") )
             {

                        $curl = curl_init();
              curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
              curl_setopt($curl, CURLOPT_URL, $url);
              curl_setopt($curl, CURLOPT_POST, true);
             
              curl_setopt($curl, CURLOPT_HEADER, false);
              curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
               $input = curl_exec($curl); //Risque d'injection SQL (même si c'est une page et pas forcément voulu).  mysql_real_escape_string(
              curl_close($curl);

            //enregistrement ds la base de données du contenu de la page d'adi $url


            $input2 = mysql_real_escape_string($input);
            mysql_query("UPDATE liens SET content = '" . $input2 . "' WHERE liens = '" . $url . "' ") or die ('Erreur 01 : '.mysql_error() );

            
            
    
            
            

  

            echo $input;
            
            /*$fp = fopen('/home/cvs2/projet1/'.$donnees['id'].'.html',"w");
            
            fwrite($fp,$input);    // écriture fichier
            fclose($fp);*/

            
              //$regexp = '/https?\:\/\/[^\" ]+/i';

                //$regexp = @"((https?|ftp|gopher|telnet|file|notes|ms-help):((//)|(\\\\))+[\w\d:#@%/;$()~_?\+-=\\\.&]*)";

                 $regexp = "<a\s[^>]*href=(\"??)([^\" >]*?)\\1[^>]*>(.*)<\/a>";

            

       
            if(preg_match_all("/$regexp/siU", $input, $matches, PREG_SET_ORDER))

                {

                echo "matches: "; print_r($matches) ;

                foreach($matches as $match)
                    {
                
                    
                        
                        //echo $matches[$i];

                                
                        

                        //$tp = $match[0] ;

                        /*$regexp2 = "/(?:(?:https?|ftp|file):\/\/|www\.|ftp\.)(?:\([-A-Z0-9+&@#\/%=~_|$?!:;,.]*\)|[-A-Z0-9+&@#\/%=~_|$?!:;,.])*(?:\([-A-Z0-9+&@#\/%=~_|$?!:;,.]*\)|[A-Z0-9+&@#\/%=~_|$])/ix";
                        if(preg_match("/$regexp/siU", $tp, $oups))
                            {

print_r($oups);
                            $goal= $oups;*/

                            print_r($match);
                            $goal = $match[2] ;

                            echo "goal: "; $goal = mysql_real_escape_string($goal) ;echo $goal;    
                             /*
                     Le code qui suit sert à formater les url relatives en url absolues de la forme http://www.exemple.com
                    */
                        

                                        
                    echo "lien extrait de ahref: ";print_r($goal) ; echo " "; 

                

                    /* une pattern pour extraire le nom de domaine d'une adresse:-)*/

                        //$pattern = "^[a-zA-Z0-9\-\.]+\.(com|org|net|mil|edu|COM|ORG|NET|MIL|EDU)$^";
                    $pattern ="#(((https?|ftp)://(w{3}\.)?)(?<!www)(\w+-?)*\.([a-z]{2,4}))#";

                    
                    
                        
                    if(!preg_match($pattern, $goal, $matches2 ))
                    
                        {
                            echo "pas de racine ;chemain relatif";
                            

                             
                                preg_match($pattern, $url, $matches3 ) ; print_r($matches3);

                                echo "boucle d'ajout de nom de domaine à la string... ";
                                
                                echo "matches3: "; echo $matches3[0] ;

                                    $strlen = strlen($matches3[0]) ;
                                
                                    $strlen2 = strlen($goal) ;

                                    if ( ($matches3[0][--$strlen] == '/') OR ($goal[0] == '/') ) 

                                        ;
                                    
                                        else $matches3[0][++$strlen] = '/' ;

                                    $mystring2= $goal; 

                                    $temp = $matches3[0].$mystring2 ; echo"temp:" ; echo $temp ;
                                    
                                    $re = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$temp."'"), 0);
    
                                    if ($re == 0) mysql_query("INSERT INTO liens VALUES('','" . $temp ."', '1','') " ); 
                                    

                        
                            
                                      

                        }    
                            
                    
                    
                    
                    else {
                        
                            echo "Lien extrait et enregistré directment car domain name. ";
                            
                            $requete = "SELECT * FROM liens WHERE liens='".$goal."'";
                            echo $requete;

                            $reponse =  mysql_query($requete) or die('Erreur lors de l\'insertion !<br />'.mysql_error());
                            
                            //On regarde le nombre d'entree correspondant à la requête
                            $num_rows = mysql_num_rows($reponse);

                        
                            $res = mysql_result(mysql_query("SELECT COUNT(*) FROM liens WHERE liens='".$goal."'"), 0);
    
                            if ($num_rows == 0) mysql_query("INSERT INTO liens VALUES('','" . $goal ."', '1','') " ); 
                            
                            
                        }
                    }
                
                
                } else {echo "there is no valid url maybe ???"; echo $url ;}
            
            
        }//    else { echo 'Access denied by robots.txt' ; }
        
            //bug...mysql_close($mysql_connect_link);
        
    

}
}







 
?>
            • Partager sur Facebook
            • Partager sur Twitter

            extraire les liens d'une page html

            × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
            × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
            • Editeur ●
            • Markdown