Comment demander aux moteurs de recherche Google, Bing, Yahoo, etc de ne pas indexer, c’est à dire, de ne pas prendre en compte un certain contenu de votre site, dans les résultats de recherche?

Pour la démonstration, nous allons prendre pour model, un site fonctionnant avec le CMS WordPress, d’ailleurs c’est certainement la même chose avec le reste des CMS.

En effet, WordPress est certainement le meilleur et le plus utilisé des Système de gestion de contenu au monde, il n’empêche qu’il regorge une multitude de liens qui sont sans intérêt pour l’internaute, pour les visiteurs de votre site.

De quoi il parle, me demanderiez-vous?

Et bien je fais allusion par exemple à ces contenus:

  • wp-login.php
  • wp-admin
  • wp-content
  • wp-includes

Il y a beaucoup d’autres pages qui ne devraient pas être indexées, nous le verrons par la suite.

Comment indiquer à Google (cela vaut pour les autres moteurs de recherche) de ne pas indexer des pages souhaitées de mon site?

Après avoir soumis un sitemap à Google et Bing, vous devez maintenant modifier votre fichier robots.txt. Je rappelle au passage que vous pouvez générer un sitemap en ligne et le soumettre à Google, ou utiliser le plugin WordPress seo by yoast, si vous utilisez WordPress.

Un fichier robots.txt c’est quoi concrètement?

Indexer, désindexer: robots.txtSi vous avez accès au serveur de votre site, vous avez certainement dû le voir. Le robots.txt est un fichier qui se trouve à la racine de votre site, et qui dicte aux moteurs de recherche, le comportement qu’ils doivent adopter lorsqu’ils parcourent votre site et l’indexent. Il leur dira quel contenu ils ne doivent pas prendre en compte au cours de l’indexation.

Comment éditer le fichier robots.txt pour ne pas indexer (désindexer) du contenu?

Pour l’exemple, nous allons utiliser les quatre pages mentionnées plus haut. Il faut utiliser:

  • le nom du robot: User-agent,
  • les lignes à désindexer: Disallow,
  • ou à indexer: Allow.
  • On indique l’url du sitemap à la fin.

Le fichier robots.txt donnera ainsi:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Sitemap: url-de-votre-site/sitemap.xml

Si vous utilisez le plugin wordpress seo, plus besion de vous diriger côté serveur, vous pouvez modifier votre fichier robots.txt en allant dans les paramètres SEO, dans “Edit files“. Vous pouvez ainsi utilisez le sitemap créé par le plugin, en mentionnant l’url du sitemap dans le fichier robots.txt. L’url est:

url-de-votre-site/sitemap_index.xml.

Voici un article plus complet sur le robots.txt et les dossiers à ne ps indexer lorsqu’on à à WordPress comme CMS.

Partagez cet article pour en faire profiter à vos amis et retrouver tout mes tutoriels sur le référencement et wordpress, sur Twitter et Facebook (boutons de partage).

0 Commentaires

Laisser un commentaire

CONTACTEZ NOUS

Envoyez-nous un message rapide. Si concernant un article du site, veuillez commenter directement sur la page cible.

Sending

©2017 BantoozoneCommunauté | Conditions Générales | Mentions Légales | Édité par Xeta-Digital Corp.

error: Contenu Protégé !!
x Shield Logo
This Site Is Protected By
The Shield →

Se connecter avec vos coordonnées

Forgot your details?