Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué.
Cet outil permet de voir si votre page est indexable en fonction de vos paramètres présents dans le fichier Robots.txt.
test d’une URL avec l’outil Google Webmaster Tools
Google a mis en place un outil de test de fichier Robots.txt, si comme ci dessus vous n’aviez pas de fichier txt, par défaut tout est crawlé sur le site.
Par contre si vous empêchez l’accès à certains dossiers comme les répertoires admin, etc… ou des anciennes parties de site que vous ne voulez plus voir sur internet, cela vous permet de tester cela.
Un exemple ci dessous
Saisie d’une URL et test, on voit que l’URL est bloquée par le fichier Robots.txt, vous pouvez aussi tester plusieurs Google Bot.
Les bots que vous pouvez tester sont les suivants :
- Google bot
- Googlebot-News
- Googlebot-Image
- Googlebot-Video
- Googlebot-Mobile
- Mediapertners-Google
- Adsbot-Google
Un outil fort intéressant en cas de problème d’indexation sur un site internet , l’outil se marie très bien avec Explorer comme Google , pour comprendre les problèmes d’un site. un outil bien pratique.
Il sera, je n’en doute pas fort utilisé sur un site avec des milliers de pages et des années d’existence pour comprendre ce qu’il se passe lorsque des parties de sites sont purement et simplement ignorés par Google.
En savoir plus sur Google Webmaster tools, accéder à l’outil GWT.
tester son fichier robots.txt dans google Webma...
25 juillet 2014[…] Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué. […]
tester son fichier robots.txt dans google Webma...
27 juillet 2014[…] Google vient de modifier son outil #googlewebmastertools en ajoutant un outil de test pour les fichiers #robotstxt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué. […]
tester son fichier robots.txt dans google Webma...
27 juillet 2014[…] Google vient de modifier son outil Google Webmaster Tools en ajoutant un outil de test pour les fichiers Robots txt. Il y avait déjà un onglet Robots.txt mais pas aussi évolué. Cet outil permet de voir si votre page est indexable en fonction de vos paramètres présents dans le fichier Robots.txt. test d’une URL avec … […]
Steve
28 juillet 2014Bon résumé ! Google nous propose enfin un outil intéressant pour mettre au clair l’utilisation du robots.txt et des pages soumises aux restrictions