Bonjour,

comment lisez-vous ces éléments ?

User-agent: *
Disallow: /*?
Noindex: /

Merci d'avance pour votre aide.

-
Edité par FonkyBonobo 14 mai 2018 à 21:59:26

Avec mes yeux, en regardant la page web.

ps: met un vrai titre à ton sujet, là, il ne veut rien dire

Bonjour,

Par contre je ne pas sûre qu'en 2018 les Bots étant de plus en plus intrusifs respectent les directives d'un robots.txt...

Bref le sujet fait débat quand à l'utilité, mais comme on le dit ça ne mange pas pain, et puis il faut tester et constater.

> Par contre je ne pas sûre qu'en 2018 les Bots étant de plus en plus intrusifs respectent les directives d'un robots.txt...

Tu as raison , mais ça ne date pas d'hier. Le fichier robots.txt n'est pas une liste d'interdictions de passer (par exemple) mais de demandes de ne pas passer s'il vous plaît merci bien. Rien n'oblige les bots à respecter ces instructions. Et c'est pourquoi il ne faut *surtout pas* y mettre les dossiers/pages sensibles à ne pas indexer, comme l'url de la page d'admin ou les dossiers privés, etc : parce que ça dit exactement où taper si besoin (oui, les bots ne font pas qu'indexer pour les moteurs de recherche…).

-
Edité par Lamecarlate 16 mai 2018 à 12:01:17

Donc il ne faut pas mettre dans le robot les pages sensibles comme la page d'identification wordpress par exemple ?

Mais si on ne les mets pas dans le robots google risque de les indexer ? Et donc les rendre visibles !

Les plupart des blogs wordpress on ça dans leur robots.txt, qu'en pensez vous ?

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Je dirais que ce n'est pas parce que WP le fait que les robots suivent les consignes. Personne n'oblige et dicte ce que doit faire  les bots et crawlers.

Il existe des articles sur le web, comme je l'ai dite c'est un vaste débat, donc rien ne t'empêche de le faire en suivant les conseils de Lamecarlate

Donc fais-le si tu le souhaites, et consulte les logs du trafique et pages visitées (ton hébergeur doit le proposer) pour avoir un vrai constat 

-
Edité par pipelette13 16 mai 2018 à 13:49:15