Optimisation robot.txt
Le fichier robot.txt vous aide à indexer ou non les fichiers de votre site web.
Le fichier robot.txt est en réalité un fichier d'exclusion permettant d'indiquer manuellement à un robot d'exclure l'indexation de certains fichiers dans sa base de données. Certains moteurs de recherche en tiennent compte, d'autres non. Il ne doit exister qu'un seul fichier robots.txt sur un site, et il doit se trouver au niveau de la racine du site.
Conseils seo pour créer un fichier robot.txt
Fichier robot.txt
Exemple de structure pour un fichier robot.txt :
User-agent: *
Disallow: /pdf/
Disallow: /temp/
Disallow: /private/
Disallow: /devis/
Dans cet exemple:
-User-agent: * signifie que l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient.
- Le robot n'ira pas explorer les répertoires /pdf/, /temp/, /private/ et /devis/ du serveur.
- Le répertoire /temp/, par exemple, correspond à l'adresse http://www.monsite.fr/temp/.
Chaque répertoire à exclure de l'aspiration du spider doit faire l'objet d'une ligne Disallow: spécifique. La commande Disallow: permet d'indiquer que "tout ce qui commence par" l'expression indiquée ne doit pas être indexé.
Google propose un générateur de fichier robot.txt dans les outils pour webmaster.
- 5 Logiciels pour le referencement
- 4 Guides seo
- 1 Liste de 500 annuaires
- 8 Ebooks sur le référencement
» Commandez votre Pack Pro Seo