Partage
  • Partager sur Facebook
  • Partager sur Twitter

Robots.txt

Disallow JS et CSS

    13 mars 2018 à 16:17:27

    Hello, Je fais appel à la communauté pour avoir un feedback sur les robots.txt
    Je suis allé voir un peu dans mon GSC et effectivement des robots bloquent pas mal de ressource. 
    En regardant de plus prêt sur GSC j'ai observé la liste de restriction des robot.txt et il y a des choses qui me surprennent. Ils demandent de bloquer les JS et CSS sans même parler du CRON :-s 
    Pouvez vous me dire si ca vous parait normal selon vous (avant d'en parler à mon agence qui gère mon site) 
    # Google Image Crawler Setup
    User-agent: Googlebot-Image
    Disallow:
    # Crawlers Setup
    User-agent: *
    # Directories
    Disallow: /404/
    Disallow: /app/
    Disallow: /cgi-bin/
    Disallow: /downloader/
    Disallow: /errors/
    Disallow: /includes/
    Disallow: /js/
    Disallow: /lib/
    Disallow: /magento/
    # Disallow: /media/
    Disallow: /pkginfo/
    Disallow: /report/
    Disallow: /scripts/
    Disallow: /shell/
    # Disallow: /skin/
    Disallow: /stats/
    Disallow: /var/
    # Paths (clean URLs)
    Disallow: /admin/
    Disallow: */price=/*
    Disallow: */dir= /*
    Disallow: */order=/*
    Disallow: */page/*
    Disallow: */limit=/*
    Disallow: */catalog/*
    Disallow: */catalogsearch/*
    Disallow: */customer/*
    Disallow: */SID=/*
    Disallow: */sort-by/*
    Disallow: */checkout/*
    Disallow: /index.php/
    Disallow: /control/
    Disallow: /contacts/
    Disallow: */customer/*
    Disallow: /customize/
    Disallow: /newsletter/
    Disallow: /poll/
    Disallow: /review/
    Disallow: /sendfriend/
    Disallow: /tag/
    Disallow: /wishlist/
    # Files
    Disallow: /cron.php
    Disallow: /cron.sh
    Disallow: /error_log
    Disallow: /install.php
    Disallow: /LICENSE.html
    Disallow: /LICENSE.txt
    Disallow: /LICENSE_AFL.txt
    Disallow: /STATUS.txt
    # Paths (no clean URLs)
    #Disallow: /*.js$
    #Disallow: /*.css$
    #Disallow: /*.php$
    Disallow: /*?SID=
    • Partager sur Facebook
    • Partager sur Twitter

    Robots.txt

    × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
    × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
    • Editeur
    • Markdown