J'aimerais que mon robots.txt soit pris en compte mais lorsque je veux scanner mon site pour créer un sitemap on me dit que le fichier robots.txt bloque.
Après de nombreux test, je me suis rendu compte que le site internet qui veut scanner mon site me donne toujours le même résultat :
User-agent: *
Disallow: /
Mon fichier comprend beaucoup d'informations et même quand je le supprime j'ai toujours un soit disant robots.txt avec ces deux lignes.
Ton sujet est marqué comme "résolu". Est-ce le cas ? Car si ça l'est, partager la solution ne fait pas de mal...
Si ça n'est pas le cas, tu as des robots.txt qui peuvent se générer virtuellement suivant le CMS que tu utilises. C'est le cas de WordPress par exemple.
Il s'agissait d'un robots.txt déjà configuré sur ma search console de Google. Il était donc prioritaire.
Il m'en a fallut du temps de recherche pour comprendre ce qui n'allait pas.
Merci pour ta réponse en tout cas.
Robots.txt fantôme
× Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
× Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.