Hello, Je fais appel à la communauté pour avoir un feedback sur les robots.txt
Je suis allé voir un peu dans mon GSC et effectivement des robots bloquent pas mal de ressource.
En regardant de plus prêt sur GSC j'ai observé la liste de restriction des robot.txt et il y a des choses qui me surprennent. Ils demandent de bloquer les JS et CSS sans même parler du CRON :-s
Pouvez vous me dire si ca vous parait normal selon vous (avant d'en parler à mon agence qui gère mon site)
# Google Image Crawler Setup
User-agent: Googlebot-Image
Disallow:
# Crawlers Setup
User-agent: *
# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
# Disallow: /media/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
# Disallow: /skin/
Disallow: /stats/
Disallow: /var/
# Paths (clean URLs)
Disallow: /admin/
Disallow: */price=/*
Disallow: */dir= /*
Disallow: */order=/*
Disallow: */page/*
Disallow: */limit=/*
Disallow: */catalog/*
Disallow: */catalogsearch/*
Disallow: */customer/*
Disallow: */SID=/*
Disallow: */sort-by/*
Disallow: */checkout/*
Disallow: /index.php/
Disallow: /control/
Disallow: /contacts/
Disallow: */customer/*
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt
# Paths (no clean URLs)
#Disallow: /*.js$
#Disallow: /*.css$
#Disallow: /*.php$
Disallow: /*?SID=
Robots.txt
× Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
× Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.