Table des matières
Tiens, je vais désindexer wp-content pour rigoler !
Je vais vous raconter une mésaventure qui vient de m’arriver, avec l’idée qu’elle pourra vous servir de leçon voire vous dépanner.
Version vidéo de cet article
Le mieux est l’ennemi du bien…
Il y a quelques semaines, j’ai cherché à faire une optimisation SEO assez marginale, en optimisant les fichiers robots.txt de mes sites.
L’idée de base est que ça ne sert strictement à rien d’avoir des contenus pauvres ou inutiles indexés par Google, ça diminue pour rien le budget crawl d’un site, et – je sais pas trop – ça fait ptet baisser la note globale, si on réfléchit dans la logique où la désindexation des moins bons contenus d’un site fait monter sa note de qualité globale.
J’ai lu ici et là, notamment sur StackOverflow, le même conseil – ne le suivez pas, car il est bidon et même destructeur : il s’agissait de désindexer les dossiers /wp-content/ et /wp-includes/, en les mettant en « disallow ».
Comme un gros crétin des Alpes, j’avais totalement oublié de prendre en compte le fait que divers plugins y mettent des fichiers qui servent au rendu final des pages dans le navigateur client…
J’ai donc « Disallow » wp-content et wp-includes, avant de m’en mordre les doigts jusqu’aux épaules.
Une « optimisation » catastrophique
En effet, je me suis vite aperçu, en scrutant la Google Search Console, que cette interdiction d’accès faisait bugguer l’indexation de toutes les pages de tous mes sites ainsi « optimisés », LOL.
Evidemment ! Puisqu’en interdisant l’accès notamment à mes CSS concaténées, j’interdisais à Google d’en effectuer le bon rendu graphique…
Bilan : Google s’est mis à conclure, à tort, que tous mes sites n’étaient notamment pas optimisés pour mobile…
Google joue à cache cache
« Les ressources n’ont pas pu être chargées, blocage par robots.txt »…
Bon. Débile, mais pas irresponsable, j’ai aussitôt réagi en remettant tous mes robots.txt d’équerre. Fini le disallow ! accède mon grand, accède, prend tout ce que tu veux et rétablis-moi vite mon indexation normale…
(En réalité au lieu d’écouter bêtement les conseils d’Internet j’aurais dû chercher un peu plus, et mettre mes wp-content en noindex… ou ne rien faire du tout !)
Le souci, c’est que Google n’en a rien eu à faire.
Cela fait donc 3 semaines que mes robots.txt autorisent l’accès aux CSS concaténées, mais quand je teste une url dans la Google Search Console, celle-ci continue de me répondre que genre « 24 ressources sur 31 n’ont pas pu être chargées« .
Donc, il continue de revisiter mes pages jour après jour après sa version obsolète de mon robots.txt calamiteux, et des les déclarer inaptes à la navigation sur mobile – ce qui tue moitié de leur valeur.
Google cache robots.txt ! Il le cache même trop bien !
Oui, parce qu’en fait Google met en cache nos fichiers.txt, sans fournir nulle part même dans la GSC un moyen de contrôler quelle version il prend en compte.
J’ai donc à nouveau fait des recherches… et vu des gens dire que soit il récupère le fichier tous les jours, soit il le récupère seulement toutes les 100 indexations de page… ce qui, pour mes sites de démo, la plupart pauvres en contenus, signifie qu’ils mettront des semaines à s’en remettre.
Bien joué Ludo donc, mais également bien joué Google, car :
- c pas malin de leur part de ne nous fournir aucun moyen de corriger leur robots.txt en cache
- c pas malin non plus, alors que WordPress représente 45% du web et que je dois pas être le seul à avoir appliqué un mauvais conseil, d’entériner ce conseil en faisant comme si nos CSS n’existaient pas ; alors même que Google s’autorise à ne pas respecter nos instructions d’indexation (il me fait le coup sur mes produits, que j’ai disallow par une instruction Disallow: /produits/* : eh bien il m’annonce qu’il les indexe quand même !!!)
Conclusion
- C’est en forgeant même de travers qu’on devient forgeron
- Ne Disallow pas /wp-content/ ni /wp-includes/
- Tente plutôt un noindex
- Vivement que le monopole de Google cesse, et qu’une concurrence nous rende le contrôle dont Google nous prive…
