Como saber quando o Googlebot (Crawler) anda no seu site

Prefácio

Esta é uma técnica bastante usada dentro de fórums, que a utilizam para descobrir quando o crawler do Google está indexando o seu site.

É apenas um pequeno código que irá enviar um e-mail (é claro que você pode alterá-lo para outros fins, como gravar em banco ou em um txt) quando o Googlebot acessar seu site.

Mão na massa

Assim como visto algumas colunas atrás, também utilizaremos a superglobal $_SERVER para descobrir qual é o User Agent, que nada mais é do que as informações básicas do browser de quem está acessando.

Segue o código:

<?php

// Configure seus dados de e-mail
$para = 'seunome@seusite.com.br';
$assunto = 'Google Crawler no seu site!';
$msg = 'O Crawler do Google acessou o seguinte site para indexar: '.$_SERVER['REQUEST_URI'];
$cabecalhos = 'From:'.$para; // Envia com o e-mail igual ao seu

if(stristr($_SERVER['HTTP_USER_AGENT'], 'googlebot')) {
    mail($para, $assunto, $msg, $cabecalhos);
}

?>

E é isso! Salve este arquivo (por exemplo: googlebot.php) e inclua no começo de cada arquivo do seu site. Você será avisado sempre que Crawler do Google passar pela sua página.

Conclusão

Sempre verifique as opções que o PHP te entrega prontas. Diversas delas podem te ajudar a cumprir tarefas que você nem imagina que poderia ser tão simples de resolver.

Um abraço a todos e fiquem com Deus!
Rafael Jaques