Comment configurer Robots.txt pour tout autoriser?

Question

Mon fichier robots.txt dans les outils pour les webmasters de Google affichant les valeurs suivantes:

 User-agent: *
Allow: /
 

Ce que cela veut dire? Je n'ai pas assez de connaissances à ce sujet, alors je cherche votre aide. Je souhaite autoriser tous les robots à explorer mon site Web. Est-ce la bonne configuration?

Cordialement.

Answer 1

Ce fichier permettra à tous les robots d’accéder

 User-agent: *
Allow: /
 

Cela permet essentiellement à tous les agents utilisateurs (*) d'accéder à toutes les parties du site (les /).

Answer 2

Cela signifie que vous autorisez chaque ( * ) agent utilisateur / robot d'exploration à accéder à la racine ( / ) de votre site. Tu vas bien.