mercredi 23 Mar .22

SEO – Comment optimiser le fichier Robots.txt ?

SEO-Comment-optimiser-fichier-Robots.txt

Le référencement va bien au-delà de la sélection de mots-clés et de la création de backlinks. Il existe également un aspect technique du référencement qui aura un impact important sur votre classement dans les moteurs de recherche. C’est ici que le fichier robots.txt apparait. Lorsqu’un robot de moteur de recherche explore un site Web, il utilise le fichier robots.txt pour déterminer quelles parties du site doivent être indexées. Si votre fichier robots.txt n’est pas optimisé correctement, il peut entraîner des problèmes de référencement majeurs pour votre site Web. C’est pourquoi il est important que vous compreniez exactement comment cela fonctionne et ce que vous devez faire pour vous assurer d’avoir un fichier robots.txt correctement configuré.

 

Qu’est-ce que le fichier robots.txt ?

Un fichier robots.txt est un fichier texte qui réside dans le répertoire racine de votre site Web et qui donne aux robots des moteurs de recherche des instructions sur les pages qu’ils peuvent explorer et indexer.

Les robots des moteurs de recherche essaient de trouver des pages disponibles sur le Web public, qu’ils peuvent inclure dans leur index. Lorsqu’ils visitent un site Web, la première chose qu’ils font est de rechercher et de vérifier le contenu du fichier robots.txt.

En fonction des règles spécifiées dans le fichier, ils créent une liste des URL qu’ils peuvent explorer mais aussi indexer.

 

Que se passe-t-il si vous n’avez pas de fichier robots.txt ?
En l’absence d’un fichier robots.txt, les robots des moteurs de recherche supposent que toutes les pages du site web en question, et qui sont accessibles, peuvent être explorées et ajoutées à leur index.

Que se passe-t-il si le fichier robots.txt n’est pas bien formaté ?
Cela dépend du problème. Si les moteurs de recherche ne peuvent pas comprendre le contenu du fichier parce qu’il est mal configuré, ils accéderont quand même au site Web et ignoreront ce qui figure dans le fichier robots.txt.

Que se passe-t-il si je bloque accidentellement l’accès des moteurs de recherche à mon site Web ?
C’est un gros problème. Pour commencer, ils n’exploreront pas et n’indexeront pas les pages de votre site Web et, progressivement, ils supprimeront les pages déjà disponibles dans leur index.

 

Où se trouve le fichier robots.txt sur un site ?

Lorsqu’ils arrivent sur un site, les robots d’exploration savent qu’ils doivent rechercher un fichier robots.txt. Mais ils ne recherchent ce fichier qu’à un endroit précis : le répertoire principal (généralement votre domaine racine ou votre page d’accueil).

Si un robot explorateur se rend sur le site www.exemple.com/robots.txt et ne trouve pas de fichier robots à cet endroit, il supposera que le site n’en a pas et procédera à l’exploration de tout ce qui se trouve sur la page (et peut-être même de l’ensemble du site).

Même si la page robots.txt existait, par exemple, à l’adresse exemple.com/index/robots.txt ou www.exemple.com/accueil/robots.txt, elle ne serait pas découverte par les robots et le site serait donc traité comme s’il n’avait aucun fichier robots.txt. Pour que votre fichier robots.txt soit trouvé, incluez-le toujours dans votre répertoire principal ou votre domaine racine.

 

Comment optimiser le fichier robots.txt pour un meilleur référencement ?

Maintenant, voyons comment accéder (ou créer) et optimiser le fichier robots.txt sur un site WordPress.

Comme nous l’avons précisé, le fichier robots.txt se trouve généralement dans le dossier racine de votre site. Vous devrez vous connecter à votre site à l’aide d’un client FTP de type « FileZilla« , ou en utilisant le gestionnaire de fichiers de votre panneau de contrôle pour le visualiser. Il s’agit simplement d’un fichier texte ordinaire que vous pouvez ensuite ouvrir avec un bloc-notes.

Si vous n’avez pas de fichier robots.txt dans le répertoire racine de votre site, vous pouvez en créer un. Il vous suffit de créer un nouveau fichier texte sur votre ordinateur et de l’enregistrer sous le nom de robots.txt. Ensuite, il suffit de le télécharger dans le dossier racine de votre site.

 

À quoi ressemble un fichier robots.txt idéal ?

Le format d’un fichier robots.txt est très simple. La première ligne désigne généralement un agent utilisateur. L’agent utilisateur est le nom du robot de recherche avec lequel vous essayez de communiquer. Par exemple, Googlebot ou Bingbot. Vous pouvez utiliser l’astérisque * pour donner des instructions à tous les bots.

La ligne suivante contient des instructions d’autorisation ou de refus pour les moteurs de recherche, afin qu’ils sachent quelles parties vous voulez qu’ils indexent et lesquelles vous ne voulez pas qu’ils indexent.

Voici un exemple :

À-quoi-ressemble-fichier-robots.txt

Notez que si vous utilisez un plugin comme Yoast ou All in One SEO, le sitemap sera ajouté automatiquement à votre site web. Si cela échoue, vous pouvez l’ajouter manuellement comme dans l’exemple ci-dessus.

 

Qu’est-ce que je dois « interdire » ou « noindexer » ?

Dans ses consignes aux webmasters, Google conseille de ne pas utiliser leur fichier robots.txt pour masquer du contenu de faible qualité. Ainsi, l’utilisation de votre fichier robots.txt pour empêcher Google d’indexer vos pages de catégories, de dates et autres pages d’archives n’est pas forcément un choix judicieux.

N’oubliez pas que l’objectif du fichier robots.txt est d’indiquer aux robots ce qu’ils doivent faire du contenu qu’ils explorent sur votre site. Il ne les empêche pas d’explorer votre site.

De plus, vous n’avez pas besoin d’ajouter votre page de connexion WordPress, un répertoire d’administration ou une page d’inscription à robots.txt, car les pages de connexion et d’inscription ont la balise noindex ajoutée automatiquement par WordPress.

Nous vous recommandons également de ne pas autoriser le fichier readme.html dans votre fichier robots.txt. Ce fichier readme peut être utilisé par quelqu’un qui essaie de savoir quelle version de WordPress vous utilisez. S’il s’agit d’une personne, elle peut facilement accéder au fichier en y naviguant simplement. De plus, l’insertion d’une balise « disallow » peut bloquer des attaques malveillantes.

 

Comment tester et valider votre fichier robots.txt ?

Bien que vous puissiez afficher le contenu de votre fichier robots.txt en accédant à l’URL du fichier, la meilleure façon de le tester et de le valider est d’utiliser l’outil de test dédié Made in Google.

  1. Accédez à l’outil Testeur de robots.txt.
  2. Cliquez sur le bouton Tester.

Si tout va bien, le bouton Test devient vert et l’étiquette devient « AUTORISÉ ». S’il y a un souci, la ligne qui provoque le problème sera mise en évidence.

Vous pouvez également utiliser le testeur d’URL (en bas de l’outil) pour entrer une URL de votre site Web et tester si elle est bloquée ou non.

Optimisation-Robots.txt-outil-test-Google

Vous pouvez apporter des modifications à l’éditeur et vérifier les nouvelles règles. Mais, pour que celles-ci soient appliquées à votre fichier robots.txt en direct, vous devez néanmoins MODIFIER votre fichier avec un éditeur de texte et télécharger le fichier dans le dossier racine de votre site Web (comme expliqué ci-dessus).

Afin d’informer Google que vous avez apporté des modifications à votre fichier robots.txt, cliquez sur le bouton SOUMETTRE. Puis cliquez une seconde fois sur le bouton SOUMETTRE dans la fenêtre contextuelle.

 

Un projet web ? Parlons-en ! Audit gratuit
Corentin Fournier
Consultant SEO depuis 2021, dans le digital depuis 2018, je suis toujours à l'affût des nouveautés pour peaufiner mon approche et apporter aux clients les meilleurs résultats business possibles, avec une vision 360° et une philosophie métier "test & learn".
CONTINUEZ SUR LE SUJETLes articles dans la même catégorie
refonte-seo-churchill
mardi 16 Juil .2024

Comment réussir une refonte SEO sans perdre de trafic ni de positions ? Découvrez 25 conseils pratiques dans ce guide complet.

campagne_publicitaire
lundi 26 Fév .2024

Vous avez décidé de vous tourner vers le référencement publicitaire (SEA) pour booster votre visibilité auprès d’une audience cible. Il vous faut maintenant choisir la plateforme qui diffusera votre annonce. Google Adwords ? Facebook Ads ? LinkedIn Ads ? Chacune de ces solutions a ses qualités et ses défauts. On fait le point.

mercredi 21 Juin .2023

Aujourd’hui, Google prend en compte plus de 200 facteurs lorsqu’il détermine l’ordre hiérarchique d’une SERP. Vous ne pourrez peut être pas agir sur tous ces leviers, mais ne négligez pas l’optimalisation de l’un des facteurs de classement les plus importants : l’autorité de domaine, qui correspond à la réputation de votre site Web.