Suite au tweet de l’ami Walid, je pensais lui passer un petit skype pour lui souhaiter la bonne année et lui dire comment j’ai fait mais vu que vous êtes nombreux à poser la question, je vais vous partager ce que j’ai fait.
Hier matin, mon cher développeur fier comme bartaban me dit que le nouvel outil de mise en prod marche super bien et qu’il en a fait une jeudi en seulement 10 minutes. Petit réflexe, je fais un site:www.nomdusite.com et là je vois que toutes les metas description sont bloquées. Je vais regarder le fichier robots.txt et le super nouvel outil de mise en production a mis en prod le robots.txt de preprod avec la consigne :
User-agent: *
Disallow: /Calmement, je lui redis de ne jamais toucher le fichier robots.txt et je lui demande de vite remettre l’ancien. De mon côté, une fois le bon robots.txt de retour, je fais inspecter l’url à Google et tout est réglé. Sauf que comme Walid, j’ai beau faire inspecter l’url du site ou même le nouveau fichier robots.txt, Google répond toujours : « Google n’a pas accès à cette URL. »
Petit coup de stress quand même, car le site commencait à bien se faire désindexer. On tente alors de supprimer le robots.txt et de renouveler l’opération, mais toujours le même résultat. Pour faire bref, j’avais l’impression que Google avait enregistré la consigne Disallow: / et qu’il ne voulait plus revenir crawler le site.
Après plusieurs recherches, je trouve un lien bien pratique : https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/ qui pointe sur l’ancienne search console et qui me permet de voir que la dernière version vue de mon fichier robots.txt date du jeudi 9 janvier 2020 (jour de la mise en prod).
Petit edit après avoir parlé avec Walid :
L’outil permettant de modifier le robots.txt et de l’envoyer à Google, je copie le bon fichier dans la zone de texte et je clique sur « Envoyer », un pop-up s’ouvre, je clique à nouveau sur « envoyer ». Juste au-dessous, j’ai https://www.monsite.com/ puis le champ de saisie dans lequel je tape robots.txt et je sélectionne Googlebot puis Googlebot-mobile et je contrôle en cliquant sur « Tester ». Pour la première fois, Google me retourne « autorisée », il arrive enfin à accéder à l’URL du robots.txt. Pour le vérifier, je rafraîchis la page : miracle, je vois bien que la dernière version est datée du jour.
La solution fonctionne tant que nous aurons accès à l’ancienne Search Console mais quid une fois l’accès coupé. Peut-être que Vincent Courson pourra nous éclairer.
Ps : bonne année 2020 Walid 😉
Article de janvier 2020 … est toujours d’actualité !
Merci pour ton lien et la manip fonctionne toujours.
Par contre, il faut avoir les droits complets dans ma Search Console sinon la propriété n’apparait pas dans le menu déroulant :/