Si on crée un site, c’est pour qu’il soit visible dans les résultats de recherche. C’est dans ce but qu’on mène des efforts de référencement. Il arrive toutefois que malgré toutes les techniques réalisées, certaines pages restent absentes dans les SERPs. Qu’est-ce qui en serait la cause et comment y remédier ? Toutes les réponses à la suite.
Comment Google fonctionne ?
Avant toute chose, il faut comprendre le mode de fonctionnement de Google pour savoir comment il choisit les sites à afficher dans ses résultats.
Sur le web, des milliers de pages sont créées par jour, mais seules celles crawlées par les robots de Google vont apparaître dans son index. Evidemment, seuls les sites indexés vont apparaître dans les résultats de recherche au gré des requêtes saisies par les internautes. Le premier objectif qu’un webmaster se doit d’avoir en créant une page est donc de la faire indexer. Voici comment les bots de Google opèrent.
En savoir plus sur l’indexation et l’index de Google
Etape 1 : le crawl
Les Google bots, robots de Google, robots crawlers ou encore les spiders arrivent sur le site pour le crawler. En d’autres termes, ils vont l’explorer et prendre connaissance de leurs contenus. Notez que de nos jours, les spiders utilisent l’Intelligence Artificielle ce qui leur permet de comprendre, non seulement les intentions de recherche, mais aussi ce qui est écrit dans les contenus.
Durant le crawl, de nombreux détails passent à la loupe tels que la structure du contenu, la pertinence des informations … Pour cette lecture, les bots s’intéressent surtout aux balises Titles, aux balises Hn, aux balises Alt … Au fur et à mesure qu’ils lisent et qu’ils tombent sur des liens insérés dans le contenu, ils suivent les liens pour découvrir les autres pages.
L’ensemble (informations, structure, ancres de texte et pages de redirection des liens) doit être cohérent pour entrer dans les bonnes grâces des bots.
Etape n°2 : l’indexation
Ce sont les robots crawlers eux-mêmes qui se chargent de l’indexation. Durant leur exploration des pages, ils collectent toutes les informations et les archivent sur les serveurs de Google. Chaque donnée de vos pages est récupérée et classifiée dans l’index de Google. Une fois ce traitement réalisé, la page est enregistrée dans l’archive et c’est seulement à ce stade qu’elle peut apparaître dans les résultats de recherche.
Sans crawl et indexation par les Google bots, les pages d’un site resteront invisibles aux yeux des internautes qui utilisent le moteur de recherche Google.
Combien de temps faut-il à Google pour indexer un site ?
L’indexation proprement dite d’une page ne dure pas longtemps, mais c’est la durée entre sa mise en ligne et le passage des spiders qui peut être plus ou moins longue. Cela peut prendre entre quelques jours à plusieurs semaines. Il existe néanmoins des astuces pour accélérer le processus.
Pourquoi mon site n’apparaît toujours pas dans les SERPs de Google ?
Cela fait maintenant plusieurs semaines que votre site est en ligne, mais il n’apparaît toujours pas dans les résultats de recherche de Google ? Plusieurs raisons peuvent expliquer sa non-indexation. On vous dit lesquelles …
Les bots n’ont pas accès au site
Oui, cela est fort possible si vous avez inséré la directive Noindex dans les en-têtes HTTP ou les balises Meta. Cette balise interdit l’accès des robots au site ce qui explique l’absence de crawl et d’indexation. Il suffit alors de lever ce blocage et d’attendre que les spiders repassent.
Le site est peu optimisé
Dans ce cas-ci, le problème vient d’un mauvais référencement du site. Il est effectivement possible qu’un site soit indexé, mais que les techniques SEO utilisées ne suffisent pas pour en accroître la visibilité. Pour y remédier, vérifier et retravailler les points suivants :
- Le maillage interne: veillez à ce que les pages de votre site soient reliées entre elles de manière naturelle et pertinente, car les robots suivent les liens pour leur indexation. Faites également attention aux ancres de texte utilisées.
- Le web design responsive : assurez-vous que votre site soit indexé Mobile et que sa vitesse de chargement soit rapide. Le design en général est également à revoir. Il faut qu’il soit agréable, cohérent et améliore l’expérience utilisateur (UX). On parle dans ce cas-là de UX design.
- Le netlinking: oui, le maillage interne en fait partie, mais plus important encore, il y a le maillage externe dont les backlinks. Essayez d’obtenir des liens de qualité issus d’autres sites d’autorité pour booster votre trafic, faciliter l’indexation et améliorer votre visibilité. Lire aussi – Que faire en cas de chute de trafic SEO ?
- Les contenus : il faut qu’ils soient de grande qualité, à forte valeur ajoutée, bien structurés, bien illustrés … Google veut des contenus utiles aux internautes, qui répondent à leur requête tout en étant compréhensible par les robots. N’oubliez pas les mots-clés et un champ sémantique bien travaillé.
Parmi tous les sites qui apparaissent dans son index, Google privilégie ceux qui travaillent bien leur SEO. Autrement dit, l’indexation n’est qu’une première étape, mais ensuite, il va falloir travailler et retravailler le référencement au gré des caprices des algorithmes et des internautes. Un contenu bien optimisé aujourd’hui peut ne plus l’être d’ici un, deux … ans.
Le site a été pénalisé par Google
Comme on vient de le dire, un site aujourd’hui bien optimisé peut disparaître des résultats de Google du jour au lendemain. C’est notamment le cas pour ceux qui ont écopé d’une pénalité manuelle ou d’une sanction émanant des animaux de Google (Penguin, Hummingbird, Panda …). Mais pourquoi s’est-on fait pénalisé ? Plusieurs raisons peuvent expliquer cela telles que :
- Du content spinning : vous avez copié des contenus appartenant à d’autres sites sans avoir cité de sources. Il est aussi possible que ce sont d’autres webmasters malhonnêtes qui aient copié vos contenus pour vous faire volontairement du tort. C’est malheureux, mais c’est une technique bien connue du Negative SEO. Soyez donc vigilant et réagissez au plus vite en cas de vol de vos contenus pour éviter les sanctions.
- Du keyword stuffing ou « bourrage de mots-clés » : certains webmasters sur-utilisent les mots-clés pour espérer accroître leur visibilité. C’est une technique aujourd’hui pénalisée par Google, car réduit grandement la qualité des contenus. Il est important de conserver une bonne densité des expressions clés dans un texte et de les insérer de manière naturelle. Travaillez également votre champ lexical pour varier les termes clés.
- Du backlink factice : un backlink est un lien émis par un autre site vers une de vos pages. En avoir plusieurs indique aux robots que le site a une certaine notoriété, mais attention, les bots ne sont pas bêtes. Ils tiennent compte de la qualité et de la pertinence de chaque lien et surtout, remontent jusqu’aux sources pour s’assurer qu’il s’agit bien de liens naturels. Dans le cas contraire, attendez-vous aux représailles. A lire – Comment se débarrasser des backlinks toxiques ?
- Du cloaking : bien qu’on en interdise l’usage, beaucoup de webmasters essaient encore de faire du cloaking en pensant passer inaperçu. Détrompez-vous, les robots peuvent être lents, mais ils font bien leur travail. Par définition, le cloaking c’est le fait de proposer un contenu différent selon le visiteur. Certes, c’est une astuce ingénieuse, mais qui, tôt ou tard, sera découverte et là, vous pouvez dire adieu à votre positionnement dans les SERPs si durement gagné.
D’autres raisons existent encore comme les redirections trompeuses, les textes masqués … Selon la faute commise, Google peut seulement vous faire chuter dans le positionnement en guise d’avertissement, mais il peut aussi vous railler définitivement de son index.
La meilleure attitude à adopter c’est d’éviter tout ce qui est techniques frauduleuses en matière de SEO et de mener une veille constante. Cela vous permet de réagir au plus vite en cas de perte de positionnement. Le cas échéant, un audit SEO complet du site sera nécessaire pour connaître la source du problème et adopter les bonnes solutions. Une fois que vous avez remédié aux soucis découverts, vous pouvez demander un réexamen de votre site par les bots afin de remonter dans les classements.
Notez que durant toute sa durée de vie, une page est crawlée plusieurs fois par les robots. Voilà pourquoi il faut les rafraîchir de temps en temps pour les mettre au goût du jour et les faire remonter dans les SERPs.
A lire – Google Panda et Google Penguin : les traqueurs du web
Comment savoir si mon site est indexé ?
Pour savoir si votre site est indexé ou non, voici les vérifications que vous pouvez faire :
- Directement sur le moteur de recherche :
Saisissez dans la barre de recherche de Google la formule « site:url de votre site». Si votre site a déjà été indexé, les résultats vont l’afficher. Si ce n’est pas le cas, c’est que les robots ne l’ont pas encore crawlé. Notez qu’un crawl est possible, mais que les robots n’ont pas jugé la page assez pertinente pour l’indexer.
- Rendez-vous sur le fichier robots.txt :
Ce fichier se situe dans la racine de votre site. Il indique aux robots crawlers quelles pages ils peuvent explorer sur le site ou non. Vérifiez que des directives Disallow n’y apparaissent pas, car ce sont elles qui bloquent l’indexation.
- Allez sur le fichier Htaccess :
Comme le fichier robots.txt, il permet de bloquer l’accès à votre site, mais depuis le serveur d’hébergement. Il faudra bien le configurer pour éviter cela. Un mot de passe peut être requis pour y accéder.
- Pensez aux logs :
Comme on l’a souligné plus haut, il est possible que les bots soient passés, mais que le site n’ait pas été indexé pour autant. Pour le savoir, vous pouvez vérifier les fichiers de logs sur le serveur d’hébergement. Ces fichiers enregistrent diverses données telles que la nature du client (robot ou humain), son adresse IP, la date et l’heure de la visite, la page visitée, l’en-tête de réponse serveur … Grâce à ces informations, vous pouvez vérifier si les robots sont passés ou non et réagir en conséquence.
Quelles astuces utiliser pour faire apparaître son site dans les SERPs de Google ?
Si après vérification, vous avez déterminé que le site n’était vraiment pas indexé, voici quelques astuces pour résoudre le problème, du moins, essayer de le résoudre, car au final, c’est Google qui aura le dernier mot.
Donner un coup de pouce aux Googlebots
Pour que l’indexation se fasse, il faudrait déjà que les bots découvrent l’existence de votre site. Pour ce faire, vous pouvez l’y aider en concevant un sitemap puis en le soumettant à Google par le biais de l’interface GSC (Google Search Console).
Le sitemap est essentiel dans le processus d’exploration des sites puisque c’est le premier fichier que les spiders consultent lorsqu’ils explorent une plateforme web. En indiquant vos pages sur ce fichier, vous demandez aux robots de les crawler.
Forcer l’indexation via le GSC
Oui, il est possible de forcer l’indexation du site via la Google Search Console. Voici les étapes à suivre :
- Ouvrez l’interface GSC
- Allez dans le volet de navigation (à gauche de la fenêtre) et sélectionnez « Inspection de l’URL »
- Collez-y l’adresse de la page à indexer pour effectuer l’inspection.
L’outil vous indique ensuite si la page est présente ou non sur Google. Si elle n’est pas ajoutée à l’index, il est possible d’en demander l’indexation en cliquant sur « Demander une indexation ».
Améliorez votre référencement SEO
Lorsque le site est indexé, mais est peu visible, il faut retravailler le référencement SEO. L’objectif est de le faire remonter dans le classement des SERPs jusqu’à ce qu’il apparaisse sur la première page des résultats de recherche. Pour ce faire, commencez toujours par un audit SEO pour déterminer les axes à revoir en priorité. N’oubliez pas que le SEO regroupe de nombreuses techniques dont l’ensemble contribue à accroître la visibilité. Il ne faut donc pas miser uniquement sur une méthode, mais en associer plusieurs.
Parmi les points essentiels à bien travailler, on cite :
- La qualité des contenus
- La qualité des backlinks
- Le SEO on-site : maillage interne, SEO technique, web design …
- L’expérience utilisateur : les internautes sont au cœur de tout le travail que nous menons sur le web. Depuis quelques années, Google en fait sa priorité donc vos contenus doivent répondre, premièrement à leurs exigences puis à celles des robots.
