Salut,

Je prépare pour mon Projet de fin d'étude (License) un Crawler qui aspire des informations du site Merlot.org pour créer une base de teste, mais le problème que mon aspirateur prend beaucoup de temps lors du traitement, et surtout lors du déplacement d'une page vers une autre, je vous informe que j'utilise eclipse (java), je pense que le problème réside au cœur du code de mon aspirateur alors est ce que quelqu'un peut me donner un code d'aspiration qui prend moins de temps? parce que avec mon code j'ai l'intention que je ne vais jamais terminer mon aspiration, et j'aurai jamais ma base, et si vous voyez que le problème n'a aucune relation avec le code, parce que je vous informe qu'il fonctionne très bien c'est juste qu'il prend beaucoup de temps, svp proposez moi des solutions avec des explications un peu compréhensibles  si vous pouvez.

Merci.

Salut,

Il aurait était intéressant que tu poste ton code afin que l'on puisse voir d'où pourrait provenir les ralentissements.

mais ma promotrice m'interdis de passer le code source avant la soutenance. je peux vous donner un code d'aspiration général mais il ne contient pas les traitement que mon crawler fais, en tout cas ce programme est la base de mon aspirateur.

Voilà le code:

import java.io.BufferedReader;

import java.io.FileWriter;

import java.io.IOException;

import java.io.InputStreamReader;

import java.io.PrintWriter;

import java.net.URL;

import javax.swing.JOptionPane;

public class GeneralAspirator {

public URL url1, url2;

public String urlstart;

public PrintWriter e1;

public PrintWriter e2;

public PrintWriter e3;

public BufferedReader lire;

public String line,id;

public static void main(String  []args) throws IOException, Exception{

GeneralAspirator ga = new GeneralAspirator();

}

public GeneralAspirator() throws IOException, Exception{

try{

e1=new PrintWriter(new FileWriter("GenAspirator.txt"));

}catch(Exception e){

System.out.println("Problm!!!");

}

traitement(connection());

}

//pour connecter à la page qu'on veux.

public BufferedReader connection() throws Exception{///à revoir les Exceptions pour minimiser le travaille du compilateur.

urlstart=JOptionPane.showInputDialog("Entrer votre site: ","http://www.simplesite.com/");

url1=new URL(urlstart);

System.out.println("URL à aspirer====>"+urlstart);

lire=new BufferedReader(new InputStreamReader(url1.openStream()));

return lire;

}

public void traitement(BufferedReader B) throws IOException{

line=B.readLine();

while(line!=null){

e1.write(line+System.getProperty("line.separator"));

System.out.println(line);

line=B.readLine();

}

e1.close();

}

}

Je comprends bien que tu ne puisse pas donner le code avant ta soutenance, par contre, dans ce cas là, il va être assez compliqué pour te répondre étant donné qu'on ne possède pas l'architecture de ton programme afin de voir ce qui peut être améliorer.

Après, je laisse les autres te répondre s'ils ont des pistes

Bonne chance !