Com que frequência os robôs visitam um site ?
Todos os dias, os robôs percorrem milhões de páginas da Web. Eles retornam às páginas já conhecidas para atualizar os dados armazenados em seus servidores e também descobrir novas páginas.
Os robôs são na verdade programas executados continuamente em centenas de milhares de computadores.
Os grandes mecanismos de pesquisa, portanto, têm um poder de computação excepcional.
A fim de propor resultados recentes e relevantes, preservando ao máximo a capacidade de seus recursos técnicos, os algoritmos determinam como usar o tempo dessa máquina da melhor maneira possível.
Assim, os sites/páginas mais populares são visitados com muito mais frequência do que os recursos impopulares.
Os mecanismos também identificam conteúdo atualizado regularmente. Eles podem, assim, adaptar a frequência de suas visitas de acordo com suas descobertas. Por que visitar uma página todos os dias que não é atualizada em 5 anos ?
Uma página popular com novos conteúdos regulares será visitada várias vezes ao dia.
Atualmente, o Google é o mecanismo mais rápido capaz de indexar novas páginas. Hoje estamos falando de referenciamento em tempo real.
Não é incomum que pequenos blogs tenham seus artigos indexados e posicionados no Google em minutos.
Para saber com que frequência os robôs passam pelo seu site, há apenas uma solução : a análise de log.
