Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué.
Cet outil permet de voir si votre page est indexable en fonction de vos paramètres présents dans le fichier Robots.txt.
Tester son fichier Robots.txt avec Google
test d’une URL avec l’outil Google Webmaster Tools
Google a mis en place un outil de test de fichier Robots.txt, si comme ci dessus vous n’aviez pas de fichier txt, par défaut tout est crawlé sur le site.
Par contre si vous empêchez l’accès à certains dossiers comme les répertoires admin, etc… ou des anciennes parties de site que vous ne voulez plus voir sur internet, cela vous permet de tester cela.
Un exemple ci dessous
test d’un fichier robots.txt avec GWT
Saisie d’une URL et test, on voit que l’URL est bloquée par le fichier Robots.txt, vous pouvez aussi tester plusieurs Google Bot.
Url bloqué par un fichier robots.txt
Les bots que vous pouvez tester sont les suivants :
- Google bot
- Googlebot-News
- Googlebot-Image
- Googlebot-Video
- Googlebot-Mobile
- Mediapertners-Google
- Adsbot-Google
Un outil fort intéressant en cas de problème d’indexation sur un site internet , l’outil se marie très bien avec Explorer comme Google , pour comprendre les problèmes d’un site. un outil bien pratique.
Il sera, je n’en doute pas fort utilisé sur un site avec des milliers de pages et des années d’existence pour comprendre ce qu’il se passe lorsque des parties de sites sont purement et simplement ignorés par Google.
En savoir plus sur Google Webmaster tools, accéder à l’outil GWT.
Comments (4)
[…] Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué. […]
[…] Google vient de modifier son outil #googlewebmastertools en ajoutant un outil de test pour les fichiers #robotstxt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué. […]
[…] Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué. Cet outil permet de voir si votre page est indexable en fonction de vos paramètres présents dans le fichier Robots.txt. test d’une URL avec … […]
Bon résumé ! Google nous propose enfin un outil intéressant pour mettre au clair l’utilisation du robots.txt et des pages soumises aux restrictions