Partage

Comprendre les lignes de robots.txt

14 mai 2018 à 20:05:09

Bonjour,

comment lisez-vous ces éléments ?

User-agent: *
Disallow: /*?
Noindex: /

Merci d'avance pour votre aide.

-
Edité par FonkyBonobo 14 mai 2018 à 21:59:26

Vous êtes demandeur·se d'emploi ?
Sans diplôme post-bac ?

Devenez Développeur·se web junior

Je postule
Formation
courte
Financée
à 100%
14 mai 2018 à 21:49:15

Avec mes yeux, en regardant la page web.

ps: met un vrai titre à ton sujet, là, il ne veut rien dire

[Convertir une table en UTF8, mysql](https://gist.github.com/julp/4726120)
14 mai 2018 à 22:01:34

Merci Artemix ! Je précise ma question : que cela veut-il dire ?
14 mai 2018 à 22:02:47

Tu peux aller te renseigner ici. Cela explique tout.
"Le meilleur moyen de prédire l'avenir, c'est de l'inventer :)" | N'oubliez pas [résolu] et +1 | Excusez mon ôrtograffe, j'essaie de l'améliorer...
16 mai 2018 à 11:44:49

Bonjour,

Par contre je ne pas sûre qu'en 2018 les Bots étant de plus en plus intrusifs respectent les directives d'un robots.txt...

Bref le sujet fait débat quand à l'utilité, mais comme on le dit ça ne mange pas pain, et puis il faut tester et constater.

Staff 16 mai 2018 à 12:00:59

> Par contre je ne pas sûre qu'en 2018 les Bots étant de plus en plus intrusifs respectent les directives d'un robots.txt...

Tu as raison :) , mais ça ne date pas d'hier. Le fichier robots.txt n'est pas une liste d'interdictions de passer (par exemple) mais de demandes de ne pas passer s'il vous plaît merci bien. Rien n'oblige les bots à respecter ces instructions. Et c'est pourquoi il ne faut *surtout pas* y mettre les dossiers/pages sensibles à ne pas indexer, comme l'url de la page d'admin ou les dossiers privés, etc : parce que ça dit exactement où taper si besoin (oui, les bots ne font pas qu'indexer pour les moteurs de recherche…).

-
Edité par Lamecarlate 16 mai 2018 à 12:01:17

Pas d'aide concernant le code par MP ni par mail, le forum est là pour ça :) Postez votre code html et css (bouton '</>') !!
16 mai 2018 à 12:58:33

Donc il ne faut pas mettre dans le robot les pages sensibles comme la page d'identification wordpress par exemple ?

Mais si on ne les mets pas dans le robots google risque de les indexer ? Et donc les rendre visibles !

Les plupart des blogs wordpress on ça dans leur robots.txt, qu'en pensez vous ?

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
16 mai 2018 à 13:47:35

Je dirais que ce n'est pas parce que WP le fait que les robots suivent les consignes. Personne n'oblige et dicte ce que doit faire  les bots et crawlers.

Il existe des articles sur le web, comme je l'ai dite c'est un vaste débat, donc rien ne t'empêche de le faire en suivant les conseils de Lamecarlate

Donc fais-le si tu le souhaites, et consulte les logs du trafique et pages visitées (ton hébergeur doit le proposer) pour avoir un vrai constat :)

-
Edité par pipelette13 16 mai 2018 à 13:49:15

Comprendre les lignes de robots.txt

× Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
  • Editeur
  • Markdown