🌼 Spring Sale — Jusqu'à 60% de réduction pour l'hébergement et les domaines
Questions Fréquemment Posées • Aléatoire

Quel est le fichier robots.txt ?

Le fichier robots.txt contrôle l'accès des moteurs de recherche au site, permettant ou restreignant l'indexation du contenu. Découvrez comment le créer et le configurer efficacement.

Vues 760Mis à jour 1 anPublié le 15/10/2018par Cătălin Adrian

Introduction

Le fichier robots.txt est un fichier texte simple qui fait partie du protocole d'exclusion des robots (REP - Robots Exclusion Protocol). Il contient des instructions pour les moteurs de recherche sur la façon d'accéder et d'indexer le site. Pour prendre effet, le fichier robots.txt doit être placé dans le dossier racine du site (par exemple, https://domeniu.ro/robots.txt).

Importance du fichier robots.txt

Le fichier robots.txt est crucial pour gérer l'interaction des robots avec le site. Il existe de nombreux robots qui peuvent indexer le site de manière agressive, ce qui peut affecter ses performances. En utilisant ce fichier, vous pouvez :

  • Contrôlez l'accès des moteurs de recherche au contenu du site.
  • Permet l'indexation uniquement par les robots souhaités (ex. Google, Bing).
  • Restreindre l'accès aux dossiers ou fichiers sensibles.

Exemples d'utilisation

1. Bloquer un moteur de recherche spécifique

Pour bloquer l'accès au moteur de recherche Bing (bingbot), incluez les lignes suivantes dans le fichier robots.txt :


User-agent: bingbotDisallow: /

Explication :
User-agent : Spécifie le moteur de recherche auquel les réglages s'appliquent.
Disallow : Définit les sections du site auxquelles le robot n'a pas accès. Le symbole / bloque l'accès à l'ensemble du site.

2. Blocage de tous les moteurs de recherche

Pour empêcher tous les moteurs de recherche d'accéder au site, utilisez :


User-agent: *Disallow: /

Explication : Le symbole * (wildcard) dans le champ User-agent s'applique à tous les moteurs de recherche, et / bloque l'accès à l'ensemble du site.

3. Bloquer l'accès uniquement à certains dossiers ou fichiers

Pour bloquer l'accès à un dossier et à un fichier spécifique, configurez :


User-agent: *Disallow: /blog/Disallowed: /newsletter.php

Explication : Tous les moteurs de recherche seront bloqués pour indexer le dossier /blog/ et le fichier newsletter.php.

Création du fichier robots.txt

Pour créer un fichier robots.txt, vous pouvez utiliser un générateur en ligne, qui vous aide à personnaliser les règles rapidement et sans erreurs. Des exemples de générateurs en ligne peuvent être trouvés via une recherche : Générateur robots.txt.

Après avoir créé le fichier, téléchargez-le dans le répertoire racine du site en utilisant un gestionnaire de fichiers ou un client FTP.