Je cherche à programmer un moteur de recherche act au public avec des fonctions spéciales que jajoute mais j'aimerais avoir l'avis d'autres personnes pour voir si cela correspond  mes recherches ?

Avec un langage serveur, par exemple PHP. Tu veux faire quoi, zigouiller Google à toi tout seul ? 

Oulala !

C'est ambitieux comme projet !

La tâche sera ardue, voir même très ardue !

Parsing de tous les codes HTML, XHTML, XML, etc.

Respect du robots.txt

Prise en compte des sitemap indiqués dans robots.txt ou de sitemap.xml si pas d'indication.

Respect de la stabilité du serveur que tu parses en ne le bombardant pas de milliers de requêtes.

Il y a du boulot !

Si tu ne respectes pas ces règles simples, tu risques d'être bloqué par la plupart des webmasters, à l'image d'un certain yacy.net....

J'ai pas forcément envie de zigouiller Google c'est juste que moi et un amis on a imaginer  moyen qui si il arrivait à marcher pourrait nous donner exactement ce qu'on cherche et pas besoin de cliquer sur des milliers de sites enfin c'est compliqué on a un algorithme qui peut marcher c'est juste qu'il faudrait qu'on teste et qu'on sache comment faire un moteur de recherche

Et Alexandre b tu peux ré expliquer ce que tu as dit par ce que je n' ai pas très bien compris ?

Kimkit a écrit:

Avec un langage serveur, par exemple PHP. Tu veux faire quoi, zigouiller Google à toi tout seul ? 

Oui vaec un language serveur 

Tu n'as pas compris ce que je dis ?

C'est pourtant très, très simple ! Il s'agit des règles basiques à respecter quand on met sur pied un crawler.

Si tu passes sur mon site sans tenir compte du robots.txt ou en demandant plusieurs dizaines, voir centaines de page à la minutes, tu te feras blacklister automatiquement sans autre forme de procès.

Ce que je t'expose dans mon post précédent représente le B.A.-BA

Si tu ne connais pas, renseigne toi, sinon, tu t'exposes à un blocage sur tous les sites que tu crawleras.

Tout n'est pas permis ! La plupart des webmasters ne sont pas des bonnes poires qui laissent tout faire sur leur site.

Oui et ton site ou est ce qu'on trouve ce dont tu parles ? Et non je ne comprends pas ce que tu dis .

Si tu ne comprends pas, abandonne ton projet pour l'instant, tu n'as clairement pas le niveau.

Sinon pourquoi pas te lancer dans un autre projet très original, par exemple un site de rencontre, ou un réseau social ? 

Après tout si crosoft à pas pu détroner Google en investissant 100 milliards de dollars sur Bing zigouiller Google ça reste un projet un peu trop facile non ?

-
Edité par Kimkit 11 octobre 2015 à 0:10:35

Praetonus a écrit:

Si tu ne comprends pas, abandonne ton projet pour l'instant, tu n'as clairement pas le niveau.

Tu as sans doute raison mais sache que c'est pas pas ce que je n'ai pas le niveau aujourd'hui que je ne l'aurais pas demain (je suis très jeune pour faire ca je le sais ) mais ce nest  mon unique projet j'en ai d'autres.

-
Edité par MevenlouisMichea1 11 octobre 2015 à 0:53:02

Et quelqun peut d'expliquer en language commun ?

En langage commun ???

C'est quoi le langage commun ?

Peut importe la langue, on te demande de respecter les directives du robots.txt et la charge serveur.

MevenlouisMichea1 a écrit:

Tu as sans doute raison mais sache que c'est pas pas ce que je n'ai pas le niveau aujourd'hui que je ne l'aurais pas demain (je suis très jeune pour faire ca je le sais ) mais ce nest  mon unique projet j'en ai d'autres.

Tout à fait, et meme si tu as pas un sous en poche peut être que demain tu aura 100 milliards en poche pour concurrencer Microsoft, Google, et Facebook. Il faut garder la "positive attitude" tu as 100% raison. Et le plus important c'est les "idées", moi je trouve par exemple que le projet de colonie sur Mars pour 2026 complêtement idiot, je pense que mon idée de colonie sur Mercure pour 2020 beaucoup plus réaliste à cause des capteurs solaires qui seront bien plus performants, sans compter bien plus de soleil pour faire pousser les légumes, je suis en train de faire le site du projet en langage C (pour la performance) 

Yop,

Je suis ce que dise les autres, tu n'es clairement pas près, de plus tu n'imagine même pas le nombre de gens qui ont voulu détrôner google, pourtant aucun d'entre eux n'ont réussi ! Que tu tente aujourd'hui, dans 20ans, dans 80ans ne changera rien, car tu progresseras, mais eux, progresserons également. C'est comme si tu voulais détruire un char d'assaut avec des flêches et sans arc.

De plus, dit toi que google ne s'est pas monté en 3 jours, des centaines de personnes y travaillent, et crois moi, ils sont tous énormément plus fort que toi dans le domaine du WEB.

Ce que tu tente de faire se rapproche plus de la folie qu'autre chose, laisse tomber ce projet qui pourrait te dégoûter de la programmation ! Essaie des choses plus simple comme faire des applications / des sites web, car là, vu que tu ne comprends même pas ce que @AlexB. te dit, tu risque d'avoir d'énorme soucis lorsque tu vas te lancer dedans.

Cordialement, 

Les gars je sais très bien que j'ai pas le niveau cest juste pour le futur je suis déjà en train de faire un réseau social, j'ai fais des pages web et je regarde juste pour le futur j'ai un super algorithme qui va avec et si j'ai pas le ni je connais des gens qui l'ont alors y a pas de problème et juste répondez moi à La question.

Je comprend pas ce qu'a dit Alex b du genre un crawl pour ceux quivent pas ce que cest cest le modèle  gigantesque plateforme qui transport les fusées alors arrête de dire que je suis pourri c'est ca un crawler.

Attention, je n'ai jamais dit que ton truc était pourri et je ne me permettrais pas de le dire !

J'ai bien compris que tu veux réaliser un crawler (un script qui récupère le contenu des sites) sans vouloir rivaliser avec Google.

Je sais bien tu essayeras, quoi qu'on puisse te dire ici. La curiosité est la plus forte ! 

Par contre, fais très attention ! Si tu prends des pages par centaines ou milliers par minute, tu risques de passer pour un pirate qui lance une attaque DoS !

C'est un coup à ce que ton hébergeur te mette à la porte. Si tu fais ça avec Wamp en local, tu risques aussi des ennuis avec ton FAI.

De toute façon, si tu fais n'importe quoi, tu te feras interdire d'accès sur de nombreux sites web.

Reprends ce que je t'ai déjà dit et étudie le (robots.txt, sitemap.xml, nombre de requêtes "respectueuses" du serveur, etc...)

Tu trouveras toutes ces informations en cherchant "robot crawl bonnes pratiques".

Ok je le ferais c'est sur ton site ? C'est ca ?

Si tu veux viser mon site, vas-y.

Par contre, ne viens pas couiner si tu te fais blacklister...

En plus, je préfère te prévenir. Toutes les tentatives de hack ou de DoS sont suivies d'un mail automatique à l'hébergeur/FAI.

Faut pas croire non plus que le net est la fête du slip.

-
Edité par Anonyme 14 octobre 2015 à 14:26:03

Bon je laisse tomber la discussion avec vous c'est pas mon fort, premièrement j'ai jamais dit que j'avais l'intention de faire quelque chose d'inégal et si je le fais c'est pas avant 2017 Alex B je cherche pas à faire quoi que ce soit d'anormal.

Eh alex tu joues à Grepolis