Postado em 3 de março de 2009
Como saber quando o Googlebot (Crawler) anda no seu site
Atenção! Essa postagem foi escrita há mais de 2 anos. Na informática tudo evolui muito rápido e algumas informações podem estar desatualizadas. Embora o conteúdo possa continuar relevante, lembre-se de levar em conta a data de publicação enquanto estiver lendo. Caso tenha sugestões para atualizá-la, não deixe de comentar!
Prefácio
Esta é uma técnica bastante usada dentro de fórums, que a utilizam para descobrir quando o crawler do Google está indexando o seu site.
É apenas um pequeno código que irá enviar um e-mail (é claro que você pode alterá-lo para outros fins, como gravar em banco ou em um txt) quando o Googlebot acessar seu site.
Mão na massa
Assim como visto algumas colunas atrás, também utilizaremos a superglobal $_SERVER para descobrir qual é o User Agent, que nada mais é do que as informações básicas do browser de quem está acessando.
Segue o código:
[php][/php]
E é isso! Salve este arquivo (por exemplo: googlebot.php) e inclua no começo de cada arquivo do seu site. Você será avisado sempre que Crawler do Google passar pela sua página.
Conclusão
Sempre verifique as opções que o PHP te entrega prontas. Diversas delas podem te ajudar a cumprir tarefas que você nem imagina que poderia ser tão simples de resolver.
Um abraço a todos e fiquem com Deus!
Rafael Jaques
Meu nome é Rafael Jaques. Sou professor do 
