Optimisation robot.txt

Le fichier robot.txt vous aide à indexer ou non les fichiers de votre site web.
Le fichier robot.txt est en réalité un fichier d'exclusion permettant d'indiquer manuellement à un robot d'exclure l'indexation de certains fichiers dans sa base de données. Certains moteurs de recherche en tiennent compte, d'autres non. Il ne doit exister qu'un seul fichier robots.txt sur un site, et il doit se trouver au niveau de la racine du site.

Conseils seo pour créer un sitemap

Fichier robot.txt

Exemple de structure pour un fichier robot.txt :

 

User-agent: *
Disallow: /pdf/
Disallow: /temp/
Disallow: /private/
Disallow: /devis/

 

Dans cet exemple:
-User-agent: * signifie que l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient.
 - Le robot n'ira pas explorer les répertoires /pdf/, /temp/, /private/ et /devis/ du serveur.
- Le répertoire /temp/, par exemple, correspond à l'adresse http://www.monsite.fr/temp/.

 

Chaque répertoire à exclure de l'aspiration du spider doit faire l'objet d'une ligne Disallow: spécifique. La commande Disallow: permet d'indiquer que "tout ce qui commence par" l'expression indiquée ne doit pas être indexé.

 

 

Google propose un générateur de fichier robot.txt dans les outils pour webmaster.

 

Generaeur de robots.txt par Google

 

Pack Pro Seo 100% Utile
Pour les professionnels qui veulent référencer leur site ...

- 5 Logiciels pour le referencement
- 4 Guides seo
- 1 Liste de 500 annuaires
- 8 Ebooks sur le référencement

» Commandez votre Pack Pro Seo