J'aurai une petite question de curiosité à vrai dire.
En fait, en sachant que les robots de google se déplacent d'une page web à une autre à travers les liens hypertextes, peuvent-ils tomber sur une page relative à l'administration d'un site web ? je veux dire, aucun site web ne mettrait un lien hypertexte vers la page d'administration d'un autre site web, puisque les visiteurs sont intéressés par le contenu des pages, et non par son interface de gestion.
La question c'est, si aucun lien n'existe sur le web qui redirigerait vers la page d'administration d'un site web, y aurait-il des possibilités qu'un robot puisse la trouver ?
Si la réponse est non, alors mettre une balise du genre <meta name="robots" content="noindex; nofollow"> dans les pages de l'interface d'administration d'un site web serait déni d’intérêt n'est ce pas ?
Les robots crawlent effectivement les sites à travers leurs liens et tout type de lien (html, php, img, pdf, css, js...). Et une page non liée, orpheline, ne peut pas être indexée. Par contre, il est important de dire aux robots de ne pas aller voir certaines pages si celles-ci n'ont aucun intérêt pour qui que ce soit à part toi, grâce au fichier robots.txt (et la commande disallow). Tu leur feras gagner du temps et aller à l'essentiel, vu les milliards de pages qu'ils crawlent régulièrement...