Comment détecter les bots des moteurs de recherche avec php?

Question

Comment peut-on détecter les bots des moteurs de recherche en utilisant php?

Answer 1

J'utilise le code suivant qui semble fonctionner correctement :

function _bot_detected() {

  return (
    isset($_SERVER['HTTP_USER_AGENT'])
    && preg_match('/bot|crawl|slurp|spider|mediapartners/i', $_SERVER['HTTP_USER_AGENT'])
  );
}

mise à jour 16-06-2017 https://support.google.com/webmasters/answer/1061943?hl=fr

ajouté mediapartners

Answer 2

Voici un répertoire des noms d'araignées de moteurs de recherche

Ensuite, vous utilisez $_SERVER['HTTP_USER_AGENT']; pour vérifier si l'agent est ledit spider.

if(strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot"))
{
    // que faire
}

Answer 3

Vérifiez le $_SERVER['HTTP_USER_AGENT'] pour certaines des chaînes énumérées ici :

http://www.useragentstring.com/pages/useragentstring.php

Ou plus spécifiquement pour les robots d'indexation :

http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler

Si vous voulez -dire- enregistrer le nombre de visites des robots d'indexation des moteurs de recherche les plus courants, vous pourriez utiliser

$interestingCrawlers = array( 'google', 'yahoo' );
$pattern = '/(' . implode('|', $interestingCrawlers) .')/';
$matches = array();
$numMatches = preg_match($pattern, strtolower($_SERVER['HTTP_USER_AGENT']), $matches, 'i');
if($numMatches > 0) // Found a match
{
  // $matches[1] contains an array of all text matches to either 'google' or 'yahoo'
}

Answer 4

Vous pouvez vérifier s'il s'agit d'un moteur de recherche avec cette fonction :

 'Google',
'MSN' => 'msnbot',
      'Rambler' => 'Rambler',
      'Yahoo' => 'Yahoo',
      'AbachoBOT' => 'AbachoBOT',
      'accoona' => 'Accoona',
      'AcoiRobot' => 'AcoiRobot',
      'ASPSeek' => 'ASPSeek',
      'CrocCrawler' => 'CrocCrawler',
      'Dumbot' => 'Dumbot',
      'FAST-WebCrawler' => 'FAST-WebCrawler',
      'GeonaBot' => 'GeonaBot',
      'Gigabot' => 'Gigabot',
      'Lycos spider' => 'Lycos',
      'MSRBOT' => 'MSRBOT',
      'Altavista robot' => 'Scooter',
      'AltaVista robot' => 'Altavista',
      'ID-Search Bot' => 'IDBot',
      'eStyle Bot' => 'eStyle',
      'Scrubby robot' => 'Scrubby',
      'Facebook' => 'facebookexternalhit',
  );
  // pour obtenir la chaîne de robots utilisée dans la fonction, décommentez-la
  // il est préférable de la sauvegarder dans une chaîne que d'utiliser implode à chaque fois
  // global $crawlers
   $crawlers_agents = implode('|',$crawlers);
  if (strpos($crawlers_agents, $USER_AGENT) === false)
      return false;
    else {
    return TRUE;
    }
}
?>

Ensuite, vous pouvez l'utiliser comme suit :

Answer 5

Vous pourriez analyser l'agent utilisateur ($_SERVER['HTTP_USER_AGENT']) ou comparer l'adresse IP du client ($_SERVER['REMOTE_ADDR']) avec une liste d'adresses IP des bots de moteurs de recherche.