Je voudrais savoir si les deux lignes ci-dessous dans mon fichier robot.txt, permettent a tous les navigateur d'acceder a toutes les pages et liens de mon site.
Ce que je veus comprendre, c'est ,est ce que les robots visitent les pages de mon site, avec le fichier robot ou sans.
Et qu'ils visitent les pages, bien sûr testent les liens, et lisent la balise méta qui donne l'instruction d'indexage et suivie, et exécutent l'instruction, avec le fichier robot ou sans.
Et que le fichier robot, ne sert que dans le cas ou je veux interdire l'accès d'un robot ou de tous les robots a une page de mon site .
Disallow interdit aux robots l'exploration, allow les autorise et l'étoile "signifie tous les robots".
User-agent : * allow : /
Ne sert en fait à pas grand chose, puisque c'est ce qui se passe par défaut.
PS. Je m'aperçois que j'ai laissé une phrase qui n'a pas de sens dans mon post précédent.
Je voulais dire : « Les instructions restrictives n'autorisent pas les robots concernés à explorer les URL visées. »
fichier robot
× Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
× Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
Pas d'aide concernant le code par MP, le forum est là pour ça :)