Como impedir que uma página seja indexada ?
Com o aumento dos recursos da máquina implantados pelos principais mecanismos de pesquisa, eles agora são capazes de indexar novas páginas muito rapidamente.
O Google parece ter a tecnologia e os recursos mais poderosos até agora. Torna-se mais difícil não ser indexado do que o contrário.
Usando seus muitos serviços usados por milhões de pessoas (Analytics, Chrome...), o Google pode descobrir e coletar URLs até então desconhecidas de uma maneira muito eficiente e rápida.
Não é suficiente garantir que nenhum link aponte para uma URL (o chamado órfão) para ter certeza de que ele nunca acabe nas páginas de resultados de um mecanismo.
O uso de um robot.txt também não é a melhor solução. Você sabe que isso não impede um mecanismo de propor a URL descoberta em seus resultados ?
Um mecanismo como o Google oferecerá a URL simples, sem título ou descrição. Como solução, é melhor ocultar o novo site ou serviço que você deseja lançar com grande alarde no Dia D, certo ?
Use os meta robôs noindex para proibir a indexação já é mais eficaz.
A solução mais segura será implantar acesso seguro por meio de uma senha ou autorizar apenas determinados endereços IP.
