Comment empêcher Google d'indexer mon dépôt Github ?

Question

J'utilise Github pour stocker le texte d'un de mes sites Web, mais le problème est que Google indexe également le texte dans Github. Ainsi, le même texte apparaîtra à la fois sur mon site et sur Github, par ex. cette recherche Le premier résultat est mon site. Le deuxième résultat est le dépôt Github.

Je ne vois pas d'inconvénient à ce que les gens voient les sources, mais je ne veux pas que Google les indexe (et soit peut-être pénalisé pour contenu dupliqué). Y a-t-il un moyen, outre le fait de rendre le dépôt privé, de demander à Google de ne plus l'indexer ?

Que se passe-t-il en cas de Pages Github ? Ce sont des sites où la source est dans un dépôt Github. Ont-ils le même problème de duplication ?

Prenez cette recherche le top du top mène à le site de la Marpa mais je ne vois pas le source dans le résultat de la recherche. Comment ?

Answer 1

El https://github.com/robots.txt de Github permet l'indexation des blobs de la branche 'master', mais restreint toutes les autres branches. Ainsi, si vous n'avez pas de branche "master", Google n'est pas censé indexer vos pages.

Ho pour supprimer la branche 'master' :

Dans votre clone, créez une nouvelle branche - appelons-la 'main' et poussez-la sur github.

git checkout -b main
git push -u origin main

Sur Github, changez la branche par défaut (voir dans la section Paramètres de votre dépôt) ou ici https://github.com/blog/421-pick-your-default-branch

puis supprimez la branche master de votre clone et de Github :

git branch -d master
git push origin :master

Faites en sorte que d'autres personnes qui ont peut-être déjà bifurqué de votre dépôt fassent de même.

Sinon, si vous souhaitez soutenir financièrement Github, vous pouvez vous rendre sur le site privé https://help.github.com/articles/making-a-public-repository-private

Answer 2

Si vous voulez vous en tenir à la branche principale, il semble qu'il n'y ait pas d'autre solution que d'utiliser un dépôt privé (et de vendre votre compte GitHub) ou d'utiliser un autre service qui offre des dépôts privés gratuitement, par exemple Bitbucket .

Answer 3

Réponse simple : rendez votre repo privé.

https://help.github.com/articles/making-a-public-repository-private

Answer 4

Réponse courte. Oui, vous pouvez avec robots.txt.

Si vous souhaitez empêcher Googlebot d'explorer le contenu de votre site, vous disposez de plusieurs options, notamment l'utilisation de robots.txt pour bloquer l'accès aux fichiers et aux répertoires de votre serveur.

Vous avez besoin d'un fichier robots.txt uniquement si votre site contient du contenu que vous ne souhaitez pas que les moteurs de recherche indexent. Si vous souhaitez que les moteurs de recherche indexent tout le contenu de votre site, vous n'avez pas besoin d'un fichier robots.txt (pas même un fichier vide).

Bien que Google n'explore pas ou n'indexe pas le contenu des pages bloquées par le fichier robots.txt, nous pouvons tout de même indexer les URL si nous les trouvons sur d'autres pages du Web. Par conséquent, l'URL de la page et, éventuellement, d'autres informations accessibles au public, telles que le texte d'ancrage des liens vers le site ou le titre de l'Open Directory Project (www.dmoz.org), peuvent apparaître dans les résultats de recherche de Google.

Sources :

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449