internetlab.es Las últimas noticias del mundo de los dominios web, hosting, servidores y marketing online.
Los “crawler” (también llamado “spider” o robot) que envían los buscadores para recorrer el contenido de tu página e indexarla, suelen chequear en primer lugar un archivo llamado robots.txt. Si sabemos configurar este archivo, podremos determinar qué robots tienen permitida la entrada y que otros no tienen autorización para revisar …