tester son fichier robots.txt dans google Webmaster Tools

L'outil Robots.txt de GWT

Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué.

Cet outil permet de voir si votre page est indexable en fonction de vos paramètres présents dans le fichier Robots.txt.

L'outil Robots.txt de GWT

Tester son fichier Robots.txt avec Google

test d’une URL avec l’outil Google Webmaster Tools

Google a mis en place  un outil de test de fichier Robots.txt, si comme ci dessus vous n’aviez pas de fichier txt, par défaut tout est crawlé sur le site.

Par contre si vous empêchez l’accès à certains dossiers comme les répertoires  admin, etc… ou des anciennes parties de site que vous ne voulez plus voir sur internet, cela vous permet de tester cela.

Un exemple ci dessous

tester son fichier robots.txt

test d’un fichier robots.txt avec GWT

Saisie d’une URL et test, on voit que l’URL est bloquée par le fichier Robots.txt, vous pouvez aussi tester plusieurs Google Bot.

Url bloqué par un fichier robots.txt

Url bloqué par un fichier robots.txt

Les bots que vous pouvez tester sont les suivants :

  • Google bot
  • Googlebot-News
  • Googlebot-Image
  • Googlebot-Video
  • Googlebot-Mobile
  • Mediapertners-Google
  • Adsbot-Google

Un outil fort intéressant en cas de problème d’indexation sur un site internet , l’outil se marie très bien avec Explorer comme Google , pour comprendre les problèmes d’un site. un outil bien pratique.

Il sera, je n’en doute pas fort utilisé sur un site avec des milliers de pages  et des années d’existence  pour comprendre ce qu’il se passe lorsque des parties de sites sont purement et simplement ignorés par Google.

En savoir plus sur Google Webmaster tools,   accéder à l’outil GWT.

 

Comments (4)

  • tester son fichier robots.txt dans google Webma...

    […] Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué.  […]

    25 juillet 2014 at 17 h 06 min
  • tester son fichier robots.txt dans google Webma...

    […] Google vient de modifier son outil #googlewebmastertools en ajoutant un outil de test pour les fichiers #robotstxt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué.  […]

    27 juillet 2014 at 8 h 21 min
  • tester son fichier robots.txt dans google Webma...

    […] Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué. Cet outil permet de voir si votre page est indexable en fonction de vos paramètres présents dans le fichier Robots.txt. test d’une URL avec …  […]

    27 juillet 2014 at 9 h 34 min
  • Steve

    Bon résumé ! Google nous propose enfin un outil intéressant pour mettre au clair l’utilisation du robots.txt et des pages soumises aux restrictions

    28 juillet 2014 at 17 h 29 min

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *