Comment créer un fichier robots.txt pour WordPress

Question

[MISE À JOUR 2013]

Je n'arrive pas à trouver une page faisant autorité avec un format de fichier robots.txt pour WordPress. Je promets d'en maintenir un sur mon site mais j'en veux un ici sur stack overflow.

Si vous savez ce que vous faites, veuillez consulter le projet actuel ici :

http://mast3rpee.tk/?p=127

Tout le monde a un commentaire à faire sur ce sujet :

robots.txt

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Sitemap: http://domain.com/sitemap.xml
Crawl-delay: 4

Answer 1

User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /e/
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://yoursite.com/sitemap.xml

Je pense que ce code est très authentique pour le fichier robots.txt, il suffit d'aller dans Public_HTML et de créer un fichier avec robots.txt et de coller le code ci-dessus. Vous pouvez faire dans votre Notepad, il suffit de copier le code ci-dessus et coller dans le notpad, mais rappelez-vous que le nom du fichier doit robots.txt et télécharger à votre public_HTML.

Answer 2

Comme pour tout ce qui concerne le référencement, les choses changent. Je pense que le conseil actuel est d'avoir un fichier robots.txt très minimal.

Ignorer wp-admin, wp-includes, wp-content, etc. peut empêcher Google de rendre les pages correctement, ce qu'il n'aime pas.

Consultez cet article de Yoast : https://yoast.com/wordpress-robots-txt-example/ .

Answer 3

Créez un fichier robots.txt dans le bloc-notes et téléchargez-le dans public_html dans le CPANEL.

*n'oubliez pas de renommer votre fichier notepad en robots avant de le télécharger sur public_html

Answer 4

Il n'est pas prudent de bloquer beaucoup de choses dans votre robots.txt Aujourd'hui, Google essaie de charger tous les contenus pour déterminer s'ils sont adaptés à la mobilité. Vous pouvez au moins bloquer /wp-admin. Voici une réponse plus détaillée et plus actuelle à la question sur le forum StackExchange pour WordPress .