Demander aux moteurs de recherche de ne plus indexer les vieilles pages

[Krysztophe]

https://www.google.com/search?channel=fs&client=ubuntu&q=postgresql+classes+d%27op%C3%A9rateurs => Google ou Duckduckgo renvoient en premier des pages de la v 8.1, 7.4 ou v10 !

Je suggère de dégager les anciennes versions des index des moteurs avec un simple robots.txt.

Il pourrait y avoir un problème avec quelques paramètres ou fonctionnalités des plus vieilles versions, mais au pire il y a encore la VO. Je ne connais pas de moyen d'indiquer à google des poids différents à accorder aux différentes pages sans les exclure complètement, mais je ne suis pas un SEO.

[nah-ko]

Sur qwant c'est la 7.4 qui apparait en premier https://www.qwant.com/?q=postgresql+classes+d%27op%C3%A9rateurs

[gleu]

Je n'ai pas d'objections sur ce point. N'hésite pas à proposer un robots.txt qui le fait :)

[gleu]

Ça vous va ce commit ? j'avoue que j'essaie mais sans trop savoir ce que je fais :-D

[Krysztophe]

A vue de nez ça a l'air bon

Pas pris en compte pour le moment, dirait-on

[gleu]

OK, je te laisse décider quoi faire de ce ticket.

[Krysztophe]

Là je ne comprends plus rien.
Il y a déjà un robots.txt : https://docs.postgresql.fr/robots.txt

Qui n'est pas celui à partir duquel tu as fait le commit bb4df50 . Comme si quelqu'un avait déjà fait manuellement la modication.

En tout cas l'effet devrait être le même, et cela ne semble pas très efficace vu que Bing et Google renvoient des pages en 8.4 ou 9.1 :

Google : https://www.google.com/search?channel=fs&client=ubuntu&q=shared_buffers+site%3Adocs.postgresql.fr
Bing : https://www.bing.com/search?q=shared_buffers+site%3Adocs.postgresql.fr

Peut-être est-ce à cause du fichier sitemap.xml, manquant mais toujours indiqué dans robots.txt ?

Pour demander aux crawlers de repasser, il faut apparemment créer des comptes de webmasters chez Bing comme Google, j'ai donc laissé tomber. Peut-être les vois-tu passer dans les logs apache ?

[gleu]

La différence est de ma faute. J'ai commencé à travailler directement sur le site (oui, pas bien :) ). Et je n'ai évidemment pas fait la même chose, ça aurait été trop malin.

Du coup, on va faire autrement. J'ai ajouté la directive <meta name="robots" content="noindex" /> dans tous les fichiers des versions obsolètes (un bon coup de sed). J'ai supprimé aussi le fichier robots.txt. On va voir si ça fonctionne mieux.

[Krysztophe]

Pour le moment, c'est pas ça, les versions obsolètes sont toujours présentes dans les résultats. Peut-être une question de temps ? Je suppose que l'algo privilégie les pages établies depuis longtemps.