SEO – Comment optimiser le fichier Robots.txt ?
Le référencement va bien au-delà de la sélection de mots-clés et de la création de backlinks. Il existe également un aspect technique du référencement qui aura un impact important sur votre classement dans les moteurs de recherche. C’est ici que le fichier robots.txt apparait. Lorsqu’un robot de moteur de recherche explore un site Web, il utilise le fichier robots.txt pour déterminer quelles parties du site doivent être indexées. Si votre fichier robots.txt n’est pas optimisé correctement, il peut entraîner des problèmes de référencement majeurs pour votre site Web. C’est pourquoi il est important que vous compreniez exactement comment cela fonctionne et ce que vous devez faire pour vous assurer d’avoir un fichier robots.txt correctement configuré.
Qu’est-ce que le fichier robots.txt ?
Un fichier robots.txt est un fichier texte qui réside dans le répertoire racine de votre site Web et qui donne aux robots des moteurs de recherche des instructions sur les pages qu’ils peuvent explorer et indexer.
Les robots des moteurs de recherche essaient de trouver des pages disponibles sur le Web public, qu’ils peuvent inclure dans leur index. Lorsqu’ils visitent un site Web, la première chose qu’ils font est de rechercher et de vérifier le contenu du fichier robots.txt.
En fonction des règles spécifiées dans le fichier, ils créent une liste des URL qu’ils peuvent explorer mais aussi indexer.
Que se passe-t-il si vous n’avez pas de fichier robots.txt ?
En l’absence d’un fichier robots.txt, les robots des moteurs de recherche supposent que toutes les pages du site web en question, et qui sont accessibles, peuvent être explorées et ajoutées à leur index.
Que se passe-t-il si le fichier robots.txt n’est pas bien formaté ?
Cela dépend du problème. Si les moteurs de recherche ne peuvent pas comprendre le contenu du fichier parce qu’il est mal configuré, ils accéderont quand même au site Web et ignoreront ce qui figure dans le fichier robots.txt.
Que se passe-t-il si je bloque accidentellement l’accès des moteurs de recherche à mon site Web ?
C’est un gros problème. Pour commencer, ils n’exploreront pas et n’indexeront pas les pages de votre site Web et, progressivement, ils supprimeront les pages déjà disponibles dans leur index.
Où se trouve le fichier robots.txt sur un site ?
Lorsqu’ils arrivent sur un site, les robots d’exploration savent qu’ils doivent rechercher un fichier robots.txt. Mais ils ne recherchent ce fichier qu’à un endroit précis : le répertoire principal (généralement votre domaine racine ou votre page d’accueil).
Si un robot explorateur se rend sur le site www.exemple.com/robots.txt et ne trouve pas de fichier robots à cet endroit, il supposera que le site n’en a pas et procédera à l’exploration de tout ce qui se trouve sur la page (et peut-être même de l’ensemble du site).
Même si la page robots.txt existait, par exemple, à l’adresse exemple.com/index/robots.txt ou www.exemple.com/accueil/robots.txt, elle ne serait pas découverte par les robots et le site serait donc traité comme s’il n’avait aucun fichier robots.txt. Pour que votre fichier robots.txt soit trouvé, incluez-le toujours dans votre répertoire principal ou votre domaine racine.
Comment optimiser le fichier robots.txt pour un meilleur référencement ?
Maintenant, voyons comment accéder (ou créer) et optimiser le fichier robots.txt sur un site WordPress.
Comme nous l’avons précisé, le fichier robots.txt se trouve généralement dans le dossier racine de votre site. Vous devrez vous connecter à votre site à l’aide d’un client FTP de type « FileZilla« , ou en utilisant le gestionnaire de fichiers de votre panneau de contrôle pour le visualiser. Il s’agit simplement d’un fichier texte ordinaire que vous pouvez ensuite ouvrir avec un bloc-notes.
Si vous n’avez pas de fichier robots.txt dans le répertoire racine de votre site, vous pouvez en créer un. Il vous suffit de créer un nouveau fichier texte sur votre ordinateur et de l’enregistrer sous le nom de robots.txt. Ensuite, il suffit de le télécharger dans le dossier racine de votre site.
À quoi ressemble un fichier robots.txt idéal ?
Le format d’un fichier robots.txt est très simple. La première ligne désigne généralement un agent utilisateur. L’agent utilisateur est le nom du robot de recherche avec lequel vous essayez de communiquer. Par exemple, Googlebot ou Bingbot. Vous pouvez utiliser l’astérisque * pour donner des instructions à tous les bots.
La ligne suivante contient des instructions d’autorisation ou de refus pour les moteurs de recherche, afin qu’ils sachent quelles parties vous voulez qu’ils indexent et lesquelles vous ne voulez pas qu’ils indexent.
Voici un exemple :
Notez que si vous utilisez un plugin comme Yoast ou All in One SEO, le sitemap sera ajouté automatiquement à votre site web. Si cela échoue, vous pouvez l’ajouter manuellement comme dans l’exemple ci-dessus.
Qu’est-ce que je dois « interdire » ou « noindexer » ?
Dans ses consignes aux webmasters, Google conseille de ne pas utiliser leur fichier robots.txt pour masquer du contenu de faible qualité. Ainsi, l’utilisation de votre fichier robots.txt pour empêcher Google d’indexer vos pages de catégories, de dates et autres pages d’archives n’est pas forcément un choix judicieux.
N’oubliez pas que l’objectif du fichier robots.txt est d’indiquer aux robots ce qu’ils doivent faire du contenu qu’ils explorent sur votre site. Il ne les empêche pas d’explorer votre site.
De plus, vous n’avez pas besoin d’ajouter votre page de connexion WordPress, un répertoire d’administration ou une page d’inscription à robots.txt, car les pages de connexion et d’inscription ont la balise noindex ajoutée automatiquement par WordPress.
Nous vous recommandons également de ne pas autoriser le fichier readme.html dans votre fichier robots.txt. Ce fichier readme peut être utilisé par quelqu’un qui essaie de savoir quelle version de WordPress vous utilisez. S’il s’agit d’une personne, elle peut facilement accéder au fichier en y naviguant simplement. De plus, l’insertion d’une balise « disallow » peut bloquer des attaques malveillantes.
Comment tester et valider votre fichier robots.txt ?
Bien que vous puissiez afficher le contenu de votre fichier robots.txt en accédant à l’URL du fichier, la meilleure façon de le tester et de le valider est d’utiliser l’outil de test dédié Made in Google.
- Accédez à l’outil Testeur de robots.txt.
- Cliquez sur le bouton Tester.
Si tout va bien, le bouton Test devient vert et l’étiquette devient « AUTORISÉ ». S’il y a un souci, la ligne qui provoque le problème sera mise en évidence.
Vous pouvez également utiliser le testeur d’URL (en bas de l’outil) pour entrer une URL de votre site Web et tester si elle est bloquée ou non.
Vous pouvez apporter des modifications à l’éditeur et vérifier les nouvelles règles. Mais, pour que celles-ci soient appliquées à votre fichier robots.txt en direct, vous devez néanmoins MODIFIER votre fichier avec un éditeur de texte et télécharger le fichier dans le dossier racine de votre site Web (comme expliqué ci-dessus).
Afin d’informer Google que vous avez apporté des modifications à votre fichier robots.txt, cliquez sur le bouton SOUMETTRE. Puis cliquez une seconde fois sur le bouton SOUMETTRE dans la fenêtre contextuelle.
